數(shù)據(jù)挖掘技術(shù)與用戶知識(shí)獲取

　摘  要  題】實(shí)踐研究
【英文摘要】This  paper  discusses  the  commonly-used  technologies  in  data  mining，and  explores&n……
【  正  文】
　　　　　　1　數(shù)據(jù)挖掘技術(shù)概述
　　隨著信息技術(shù)的迅速發(fā)展，數(shù)據(jù)庫(kù)的規(guī)模不斷擴(kuò)大，從而產(chǎn)生了大量的數(shù)據(jù)。為給決策者提供一個(gè)統(tǒng)一的全局視角，在許多領(lǐng)域建立了數(shù)據(jù)倉(cāng)庫(kù)。但大量的數(shù)據(jù)往往使人們無(wú)法辨別隱藏在其中的能對(duì)決策提供支持的信息，而傳統(tǒng)的查詢、報(bào)表工具無(wú)法滿足挖掘這些信息的需求。因此，需要一種新的數(shù)據(jù)分析技術(shù)處理大量數(shù)據(jù)，并從中抽取有價(jià)值的潛在知識(shí)，數(shù)據(jù)挖掘（Data  Mining）技術(shù)由此應(yīng)運(yùn)而生。數(shù)據(jù)挖掘技術(shù)也正是伴隨著數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的發(fā)展而逐步完善起來(lái)的。
　　數(shù)據(jù)挖掘是指從數(shù)據(jù)集合中自動(dòng)抽取隱藏在數(shù)據(jù)中的那些有用信息的非平凡過(guò)程，這些信息的表現(xiàn)形式為：規(guī)則、概念、規(guī)律及模式等。它可幫助決策者分析歷史數(shù)據(jù)及當(dāng)前數(shù)據(jù)，并從中發(fā)現(xiàn)隱藏的關(guān)系和模式，進(jìn)而預(yù)測(cè)未來(lái)可能發(fā)生的行為。數(shù)據(jù)挖掘的過(guò)程也叫知識(shí)發(fā)現(xiàn)的過(guò)程，它是一門(mén)涉及面很廣的交叉性新興學(xué)科，涉及到數(shù)據(jù)庫(kù)、人工智能、數(shù)理統(tǒng)計(jì)、可視化、并行計(jì)算等領(lǐng)域。數(shù)據(jù)挖掘是一種新的信息處理技術(shù)，其主要特點(diǎn)是對(duì)數(shù)據(jù)庫(kù)中的大量數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理，并從中提取輔助決策的關(guān)鍵性數(shù)據(jù)。數(shù)據(jù)挖掘是KDD（Knowledge  Discovery  in  Database）中的重要技術(shù)，它并不是用規(guī)范的數(shù)據(jù)庫(kù)查詢語(yǔ)言（如SQL）進(jìn)行查詢，而是對(duì)查詢的內(nèi)容進(jìn)行模式的總結(jié)和內(nèi)在規(guī)律的搜索。傳統(tǒng)的查詢和報(bào)表處理只是得到事件發(fā)生的結(jié)果，并沒(méi)有深入研究發(fā)生的原因，而數(shù)據(jù)挖掘則主要了解發(fā)生的原因，并且以一定的置信度對(duì)未來(lái)進(jìn)行預(yù)測(cè)，用來(lái)為決策行為提供有利的支持。
　　　　　　2　數(shù)據(jù)挖掘的常用技術(shù)
　　機(jī)器學(xué)習(xí)、數(shù)理統(tǒng)計(jì)等方法是數(shù)據(jù)挖掘進(jìn)行知識(shí)學(xué)習(xí)的重要方法。數(shù)據(jù)挖掘算法的好壞將直接影響到所發(fā)現(xiàn)知識(shí)的好壞，目前對(duì)數(shù)據(jù)挖掘的研究也主要集中在算法及其應(yīng)用方面。統(tǒng)計(jì)方法應(yīng)用于數(shù)據(jù)挖掘主要是進(jìn)行數(shù)據(jù)評(píng)估；機(jī)器學(xué)習(xí)是人工智能的另一個(gè)分支，也稱為歸納推理，它通過(guò)學(xué)習(xí)訓(xùn)練數(shù)據(jù)集，發(fā)現(xiàn)模型的參數(shù)，并找出數(shù)據(jù)中隱含的規(guī)則。其中關(guān)聯(lián)分析法、人工神經(jīng)元網(wǎng)絡(luò)、決策樹(shù)和遺傳算法在數(shù)據(jù)挖掘中的應(yīng)用很廣泛。
　　1）關(guān)聯(lián)分析法。從關(guān)系數(shù)據(jù)庫(kù)中提取關(guān)聯(lián)規(guī)則是幾種主要的數(shù)據(jù)挖掘方法之一。挖掘關(guān)聯(lián)是通過(guò)搜索系統(tǒng)中的所有事物，并從中找到出現(xiàn)條件概率較高的模式。關(guān)聯(lián)實(shí)際上就是數(shù)據(jù)對(duì)象之間相關(guān)性的確定，用關(guān)聯(lián)找出所有能將一組數(shù)據(jù)項(xiàng)和另一組數(shù)據(jù)項(xiàng)相聯(lián)系的規(guī)則，這種規(guī)則的建立并不是確定的關(guān)系，而是一個(gè)具有一定置信度的可能值，即事件發(fā)生的概率。關(guān)聯(lián)分析法直觀、易理解，但對(duì)于關(guān)聯(lián)度不高或相關(guān)性復(fù)雜的情況不太有效。
　　2）人工神經(jīng)元網(wǎng)絡(luò)（ANN），是數(shù)據(jù)挖掘中應(yīng)用最廣泛的技術(shù)。神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘方法是通過(guò)模仿人的神經(jīng)系統(tǒng)來(lái)反復(fù)訓(xùn)練學(xué)習(xí)數(shù)據(jù)集，從待分析的數(shù)據(jù)集中發(fā)現(xiàn)用于預(yù)測(cè)和分類(lèi)的模式。神經(jīng)元網(wǎng)絡(luò)對(duì)于復(fù)雜情況仍能得到精確的預(yù)測(cè)結(jié)果，而且可以處理類(lèi)別和連續(xù)變量，但神經(jīng)元網(wǎng)絡(luò)不適合處理高維變量，其最大的缺點(diǎn)是不透明性，因?yàn)槠錈o(wú)法解釋結(jié)果是如何產(chǎn)生的，及其在推理過(guò)程中所用的規(guī)則。神經(jīng)元網(wǎng)絡(luò)適合于結(jié)果比可理解性更重要的分類(lèi)和預(yù)測(cè)的復(fù)雜情況，可用于聚類(lèi)、分類(lèi)和序列模式。
　　3）決策樹(shù)（DT）是一種樹(shù)型結(jié)構(gòu)的預(yù)測(cè)模型，其中樹(shù)的非終端節(jié)點(diǎn)表示屬性，葉節(jié)點(diǎn)表示所屬的不同類(lèi)別。根據(jù)訓(xùn)練數(shù)據(jù)集中數(shù)據(jù)的不同取值建立樹(shù)的分支，形成決策樹(shù)。與神經(jīng)元網(wǎng)絡(luò)最大的不同在于其決策制定的過(guò)程是可見(jiàn)的，可以解釋結(jié)果是如何產(chǎn)生的。決策樹(shù)一般產(chǎn)生直觀、易理解的規(guī)則，而且分類(lèi)不需太多計(jì)算時(shí)間，適于對(duì)記錄分類(lèi)或結(jié)果的預(yù)測(cè)，尤其適用于當(dāng)目標(biāo)是生成易理解、可翻譯成SQL或自然語(yǔ)言的規(guī)則時(shí)。決策樹(shù)也可用于聚類(lèi)、分類(lèi)及序列模式，其應(yīng)用的典型例子是CART（回歸決策樹(shù)）方法。
　　4）遺傳算法（GA）是一種基于生物進(jìn)化理論的優(yōu)化技術(shù)。其基本觀點(diǎn)是“適者生存”原理，用于數(shù)據(jù)挖掘中則常把任務(wù)表示為一種搜索問(wèn)題，利用遺傳算法強(qiáng)大的搜索能力找到最優(yōu)解。實(shí)際上遺傳算法是模仿生物進(jìn)化的過(guò)程，反復(fù)進(jìn)行選擇、交叉和突變等遺傳操作，直至滿足最優(yōu)解。遺傳算法可處理許多數(shù)據(jù)類(lèi)型，同時(shí)可并行處理各種數(shù)據(jù)，常用于優(yōu)化神經(jīng)元網(wǎng)絡(luò)，解決其他技術(shù)難以解決的問(wèn)題，但需要的參數(shù)太多，對(duì)許多問(wèn)題編碼困難，一般計(jì)算量大。
　　　　　　3　數(shù)據(jù)挖掘技術(shù)在用戶知識(shí)獲取中的應(yīng)用
　　網(wǎng)絡(luò)的發(fā)展為用戶提供了多種新的信息服務(wù)，因特網(wǎng)以其豐富的內(nèi)容、強(qiáng)大的功能以及簡(jiǎn)單的操作，在各種信息服務(wù)方式中脫穎而出，成為未來(lái)信息服務(wù)的主要方向。但當(dāng)前因特網(wǎng)信息服務(wù)中更多的是單向、被動(dòng)的服務(wù)模式，而網(wǎng)上用戶信息需求的挖掘，可以改進(jìn)因特網(wǎng)與用戶的交互，使因特網(wǎng)與用戶真正融為一體，不再是操作與被操作的關(guān)系。數(shù)據(jù)挖掘技術(shù)的應(yīng)用，使因特網(wǎng)能根據(jù)用戶的需求采取更主動(dòng)、更有針對(duì)性的服務(wù)。并且可以建立一種個(gè)性化的信息服務(wù)系統(tǒng)，針對(duì)不同用戶的信息需求，提供不同的信息服務(wù)。而個(gè)性化服務(wù)系統(tǒng)的建立，則依賴于用戶信息需求的挖掘。
　　　　3.1　用戶知識(shí)概述
　　用戶知識(shí)包括用戶的身份、目標(biāo)、興趣、系統(tǒng)經(jīng)驗(yàn)和用戶背景知識(shí)等。它可通過(guò)用戶模型來(lái)描述，用戶模型可以模型化用戶的特點(diǎn)、背景知識(shí)和經(jīng)驗(yàn)，使用特定知識(shí)獲取方法識(shí)別和描述用戶的各種特征。用戶模型可提高人機(jī)交互能力，解釋和評(píng)價(jià)系統(tǒng)的執(zhí)行，使系統(tǒng)發(fā)揮主動(dòng)作用；改進(jìn)整個(gè)系統(tǒng)的執(zhí)行性能，如幫助識(shí)別用戶的信息需求；增強(qiáng)系統(tǒng)的靈活性，適用于各類(lèi)用戶。
　　　　3.2　用戶知識(shí)獲取方法
　　用戶知識(shí)獲取有3種基本方式：通過(guò)觀察獲取信息，即觀察用戶與系統(tǒng)交互中的行為、使用的系統(tǒng)命令和參數(shù)；從觀察到的事實(shí)進(jìn)行推理，獲得未知的信息；從已知實(shí)例集合，執(zhí)行基于實(shí)例的推理，激發(fā)原型庫(kù)中的模型，推導(dǎo)出當(dāng)前用戶的初始模型。隨著數(shù)據(jù)挖掘技術(shù)的應(yīng)用，有以下幾種常用的知識(shí)獲取方法。
　　3.2.1　用戶知識(shí)的關(guān)聯(lián)分析　對(duì)用戶數(shù)據(jù)的挖掘有兩方面的內(nèi)容：一是如何提取用戶的信息需求；二是獲得用戶需求的數(shù)據(jù)后，如何利用數(shù)據(jù)挖掘技術(shù)對(duì)這些數(shù)據(jù)進(jìn)行處理，以獲取潛在知識(shí)及為用戶所用。關(guān)聯(lián)分析法的一個(gè)主要應(yīng)用是在零售業(yè)，比如在超級(jí)市場(chǎng)的銷(xiāo)售管理中，條碼技術(shù)的發(fā)展使得數(shù)據(jù)的收集變得更容易、更快捷，從而存儲(chǔ)了大量交易資料。關(guān)聯(lián)規(guī)則就是辨別在這些交易項(xiàng)目之間是否存在某種關(guān)聯(lián)關(guān)系。例如：關(guān)聯(lián)規(guī)則可以表示“購(gòu)買(mǎi)了項(xiàng)目A和B的顧客中有

95％的人又購(gòu)買(mǎi)了C和D”。這種關(guān)聯(lián)規(guī)則提供的信息可以用作商品銷(xiāo)售目錄設(shè)計(jì)、商場(chǎng)布置、生產(chǎn)安排，進(jìn)行有針對(duì)性的市場(chǎng)營(yíng)銷(xiāo)。在搜索頁(yè)面的設(shè)計(jì)中也可運(yùn)用用戶的點(diǎn)擊率、內(nèi)容及相關(guān)頁(yè)面，了解用戶的偏好和習(xí)慣，并用關(guān)聯(lián)分析的方法來(lái)獲取潛在用戶知識(shí)，這有助于決定搜索頁(yè)面的設(shè)計(jì)和相關(guān)知識(shí)的鏈接。
　　3.2.2　組合分析法　由于用戶的興趣是時(shí)常變化的，用戶行為信息所反映的用戶信息需求往往是多條線索混合在一起，這給識(shí)別信息需求帶來(lái)了很大的困難。這種問(wèn)題的解決，一般需要預(yù)先指定一個(gè)主題，但這就增加了用戶的負(fù)擔(dān)，而且僅用關(guān)聯(lián)法也很難全面獲得用戶相關(guān)信息。人工神經(jīng)元網(wǎng)絡(luò)和決策樹(shù)的方法結(jié)合起來(lái)能較好地從相關(guān)性不強(qiáng)的多變量中選出重要的變量，并從中分析出用戶的需求偏好，服務(wù)器可根據(jù)用戶的需求偏好進(jìn)行主動(dòng)信息推薦。
　　3.2.3　分類(lèi)填表法　用戶知識(shí)可以由用戶主動(dòng)填寫(xiě)表格來(lái)獲取，用戶設(shè)定信息需求可以通過(guò)設(shè)定關(guān)鍵詞或主題詞來(lái)完成。分類(lèi)填表法可將用戶的信息需求較客觀地表達(dá)出來(lái)。表格的設(shè)計(jì)可以采用預(yù)先分類(lèi)的方法，將用戶的記錄分配到已定義好的類(lèi)中去，從而構(gòu)造出用戶信息的分類(lèi)模型，利用此模型可將用戶數(shù)據(jù)庫(kù)中的數(shù)據(jù)映射到相應(yīng)的子集中，進(jìn)行數(shù)據(jù)預(yù)測(cè)。這是一種簡(jiǎn)單實(shí)用的方法，但不足之處是難以制作一個(gè)完整的分類(lèi)調(diào)查表，將用戶的真實(shí)意圖全部表達(dá)出來(lái)。
　　3.2.4　智能代理方法　現(xiàn)在常用的瀏覽器中，有一個(gè)歷史菜單欄，當(dāng)用戶在地址欄中輸入網(wǎng)址進(jìn)行瀏覽時(shí)，系統(tǒng)會(huì)自動(dòng)將這個(gè)網(wǎng)址記錄下來(lái)，作為上網(wǎng)的歷史記錄存放在系統(tǒng)中，方便用戶以后使用。這些瀏覽歷史反映了一定時(shí)期內(nèi)用戶在網(wǎng)上的信息利用情況，是用于分析用戶的信息偏好，確定用戶信息需求的一個(gè)很好的依據(jù)。
　　利用智能代理（Intelligent  Agent）監(jiān)視用戶信息查詢過(guò)程，是自動(dòng)獲取用戶信息需求的一種方法。其方法是在用戶的終端上運(yùn)行一個(gè)監(jiān)視的信息代理（Information  Agent），信息代理將用戶和瀏覽時(shí)的相關(guān)信息不斷傳送給遠(yuǎn)端的服務(wù)器，服務(wù)器將信息進(jìn)行數(shù)據(jù)取樣和數(shù)據(jù)調(diào)整，利用強(qiáng)大的搜索能力和遺傳算法反復(fù)學(xué)習(xí)找到最優(yōu)解，使得用戶信息的提取更加量化，問(wèn)題更加明確。利用用戶在瀏覽器上存儲(chǔ)的書(shū)簽（Bookmark）獲得用戶信息需求的方法屬于“監(jiān)視用戶”類(lèi)。在Bookmark中存儲(chǔ)的信息往往是用戶最關(guān)心的，需要記錄下來(lái)以便以后再讀。用戶還可以對(duì)Bookmark進(jìn)行多級(jí)目錄管理，不同的目錄反映其不同的興趣。相對(duì)瀏覽歷史記錄而言，Bookmark對(duì)考查用戶的信息需求更有價(jià)值。如果說(shuō)瀏覽歷史只是一種對(duì)上網(wǎng)情況的“自然”記錄的話，那么Bookmark卻是用戶對(duì)歷史記錄進(jìn)行比較、篩選后的結(jié)果，是用戶眼中的網(wǎng)址精華，因而能更有效、更準(zhǔn)確地反映用戶的需求，而且它的組織性要比瀏覽歷史好得多，更便于進(jìn)行有效的分析。Bookmark系統(tǒng)采用HTTP協(xié)議實(shí)現(xiàn)信息的自動(dòng)搜集。系統(tǒng)通過(guò)監(jiān)測(cè)用戶信息記錄獲得信息需求，信息分類(lèi)器對(duì)搜索來(lái)的信息進(jìn)行自動(dòng)分類(lèi)，裝入信息數(shù)據(jù)庫(kù)；信息過(guò)濾器根據(jù)用戶提出的信息推薦請(qǐng)求，對(duì)數(shù)據(jù)庫(kù)中的信息進(jìn)行過(guò)濾并將合適的信息提交給用戶；信息評(píng)價(jià)器根據(jù)用戶對(duì)推薦信息作出的評(píng)價(jià)對(duì)系統(tǒng)進(jìn)行優(yōu)化。運(yùn)行結(jié)果表明Bookmark系統(tǒng)具有良好的信息記錄、推薦和共享功能。
　　　　　　4　結(jié)束語(yǔ)
　　數(shù)據(jù)挖掘技術(shù)及其應(yīng)用是目前國(guó)際上的一個(gè)研究熱點(diǎn)，并在許多行業(yè)中得到了很好的應(yīng)用，尤其是在市場(chǎng)營(yíng)銷(xiāo)中獲得了成功，初步體現(xiàn)了其優(yōu)越性和發(fā)展?jié)摿�。在信息管理領(lǐng)域，綜合應(yīng)用數(shù)據(jù)挖掘技術(shù)和人工智能技術(shù)，獲取用戶知識(shí)、文獻(xiàn)知識(shí)等各類(lèi)知識(shí)，將是實(shí)現(xiàn)知識(shí)檢索和知識(shí)管理發(fā)展的必經(jīng)之路。
【參考文獻(xiàn)】
　　1　張玉峰.智能情報(bào)系統(tǒng).武漢：武漢大學(xué)出版社，1991
　　2　馮萍，宣慧玉.數(shù)據(jù)挖掘技術(shù)及其在營(yíng)銷(xiāo)中的應(yīng)用.北京輕工業(yè)學(xué)院學(xué)報(bào)，2001（1）
　　3　郝先臣等.數(shù)據(jù)挖掘工具和應(yīng)用中的問(wèn)題.東北大學(xué)學(xué)報(bào)（自然科學(xué)版），2001（2）
　　4　劉海虹，劉伯螢.數(shù)據(jù)挖掘技術(shù).丹東紡專(zhuān)學(xué)報(bào)，2001（1）
　　5　盧增祥等.Bookmark——智能化網(wǎng)絡(luò)信息服務(wù)系統(tǒng).高技術(shù)通訊，1999（6）

【數(shù)據(jù)挖掘技術(shù)與用戶知識(shí)獲取】相關(guān)文章：

客戶關(guān)系管理與數(shù)據(jù)挖掘技術(shù)綜述08-06

客戶關(guān)系管理與數(shù)據(jù)挖掘技術(shù)綜述08-06

在動(dòng)手中獲取知識(shí)08-05

數(shù)據(jù) 信息與知識(shí)08-06

數(shù)據(jù)挖掘技術(shù)在人力資源管理的應(yīng)用論文范文08-14

數(shù)據(jù)挖掘?qū)嶒?yàn)心得（通用10篇）01-30

數(shù)據(jù)挖掘在電子商務(wù)圖書(shū)推薦08-18

數(shù)據(jù)加密技術(shù)08-06

數(shù)據(jù)加密技術(shù)08-06