web日志挖掘技術(shù)研究及應(yīng)用

《web日志挖掘技術(shù)研究及應(yīng)用》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫(kù)。

1、第五章，原來(lái)是關(guān)聯(lián)規(guī)則，現(xiàn)在要改成聚類(lèi)的方式，算法為第四章的改進(jìn)的蟻群算法。原來(lái)的功能圖太寬跨界了，圖不可以超過(guò)文檔的內(nèi)容部分。第一章，主要是研究現(xiàn)狀及分析進(jìn)行修改，其他的文字表述做相應(yīng)修改查重率差不多達(dá)到10%1引言隨著WebH志技術(shù)的急劇增長(zhǎng)和快速普及，以及在電子商務(wù)和信息共享等方面的廣泛應(yīng)用，用戶可以用很低的成本從網(wǎng)絡(luò)上獲得信息，Intemet已成為最豐富的信息來(lái)源地，為了更好地對(duì)這些大量、無(wú)序的網(wǎng)頁(yè)信息進(jìn)行排序和檢索，需要提升搜索引擎對(duì)網(wǎng)絡(luò)信息的處理和組織能力，因此在這樣的形勢(shì)下，產(chǎn)生了Web日志挖掘（Web日志Mining）111技術(shù)，目的在于從Web日

2、志的組織結(jié)構(gòu)和鏈接關(guān)系中發(fā)掘出有用的模式和規(guī)律，該技術(shù)無(wú)疑成為數(shù)據(jù)挖掘中的熱點(diǎn)，包括自然規(guī)則計(jì)算方法、神經(jīng)網(wǎng)絡(luò)、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)為主等人工智能相關(guān)技術(shù)。隨著Internet/WWW的全球互通互連，從中取得的數(shù)據(jù)量難以計(jì)算，所以當(dāng)處理這些數(shù)據(jù)并且從Web日志的服務(wù)中抽取信息時(shí)需要采用Web日志挖掘技術(shù)。WebH志挖掘需要從非結(jié)構(gòu)化、半結(jié)構(gòu)化或動(dòng)態(tài)易混淆的數(shù)據(jù)中,抽取潛在的、易用的信息和模式的過(guò)程。根據(jù)Web日志數(shù)據(jù)類(lèi)別的不同，可以將Web0志挖掘分為以下三類(lèi)：Web日志內(nèi)容挖掘、結(jié)構(gòu)挖掘和使用挖掘。這三類(lèi)挖掘分別作用于網(wǎng)頁(yè)信息站點(diǎn)中的內(nèi)容、結(jié)構(gòu)和使用信息，并且已經(jīng)在

3、發(fā)現(xiàn)用戶訪問(wèn)模式、反競(jìng)爭(zhēng)情報(bào)活動(dòng)、建立數(shù)據(jù)倉(cāng)庫(kù)等很多方面得到了應(yīng)用。1.1課題背景及研究意義隨著萬(wàn)維網(wǎng)的迅速發(fā)展以及良好的發(fā)展趨勢(shì)，尤其是電了商務(wù)的蓬勃發(fā)展為網(wǎng)絡(luò)應(yīng)用提供了強(qiáng)大的支撐。然而處理Web日志上海量的數(shù)據(jù)量，需耍一種能高效快捷地從Web日志頁(yè)面中獲取信息的工具，由此搜索引擎產(chǎn)生了?，F(xiàn)有的搜索引擎技術(shù)在很大程度上方便了人們對(duì)信息的檢索，不過(guò)仍然存在一些不足之處，比如搜索精度不高、覆蓋率有限等問(wèn)題，無(wú)法更好地發(fā)現(xiàn)Web日志上潛在、隱藏的知識(shí)。將傳統(tǒng)的數(shù)據(jù)挖掘同WebH志相融合，從而發(fā)展出了WebH志挖掘，該技術(shù)就傳統(tǒng)的數(shù)據(jù)挖掘來(lái)看存在較多優(yōu)勢(shì)。傳統(tǒng)數(shù)據(jù)挖掘技

4、術(shù)只是對(duì)數(shù)據(jù)結(jié)構(gòu)中結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行挖掘，通過(guò)數(shù)據(jù)間的存儲(chǔ)結(jié)構(gòu)不同來(lái)發(fā)現(xiàn)知識(shí)，而WebH志挖掘是針對(duì)半結(jié)構(gòu)化、雜亂、動(dòng)態(tài)的數(shù)據(jù)進(jìn)行挖掘，由于Web日志頁(yè)面內(nèi)容的復(fù)雜程度遠(yuǎn)超過(guò)普通文本的樣式結(jié)果，所以導(dǎo)致了Web日志挖掘技術(shù)無(wú)法直接傳承傳統(tǒng)的數(shù)據(jù)庫(kù)挖掘模型和技術(shù)。這就讓挖掘的前提需耍將傳統(tǒng)數(shù)據(jù)挖掘技術(shù)與Web日志挖掘相結(jié)合，融合各自的優(yōu)點(diǎn)，使整個(gè)數(shù)據(jù)挖掘系統(tǒng)同數(shù)據(jù)庫(kù)能更緊密的結(jié)合在一起。由于要對(duì)數(shù)據(jù)進(jìn)行組織和整合，這就需要一個(gè)完整的Web口志挖掘體系，才能分析并得出自己需要的信息。因此進(jìn)行挖掘之前需要找到相關(guān)的Web日志文檔。各Web日志信息之間有著密切的關(guān)系，從中找

5、到正確的數(shù)據(jù)結(jié)構(gòu)特點(diǎn)，利用自動(dòng)化搜索的方法實(shí)現(xiàn)對(duì)Web日志上信息結(jié)構(gòu)排序和內(nèi)容的抽取，避免了各算法之間使用的重復(fù)性。蟻群算法是一種模擬進(jìn)化的算法，它是借鑒螞蟻在尋找食物過(guò)程中會(huì)白動(dòng)搜尋最短路徑而衍牛出來(lái)的。該算法具有優(yōu)良的分布式計(jì)算、正反饋性等特點(diǎn)，特別是在解決組合最優(yōu)的問(wèn)題上已經(jīng)吸引了很多屮外學(xué)者的關(guān)注。它也是繼遺傳算法、人工神經(jīng)網(wǎng)絡(luò)算法后又一個(gè)得到大家認(rèn)可的研究性課題。1.2研究現(xiàn)狀及分析WebH志挖掘無(wú)論在國(guó)內(nèi)還是國(guó)外都是通過(guò)挖掘服務(wù)器存儲(chǔ)的WebFl志，進(jìn)而發(fā)現(xiàn)用戶訪問(wèn)Web站點(diǎn)的訪問(wèn)模式。根據(jù)對(duì)WebH志數(shù)據(jù)源處理方法的不同,Web日志挖掘可以分為以下兩

6、類(lèi)：第一類(lèi)是將Web日志記錄中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，然后傳遞進(jìn)傳統(tǒng)的關(guān)系表中，再用常規(guī)的算法對(duì)關(guān)系表中的數(shù)據(jù)進(jìn)行挖掘。第二類(lèi)是在對(duì)Web日志記錄的數(shù)據(jù)進(jìn)行挖掘之前對(duì)數(shù)據(jù)先進(jìn)行數(shù)據(jù)預(yù)處理操作。國(guó)外對(duì)Web口志挖掘的研究基本上可以從1996年算起，比較突出的有：1996年學(xué)者M(jìn).S.Chen、H.Mannila^T.Yan提出了可以將數(shù)據(jù)挖掘方法用于Web研究領(lǐng)域。Mannila和Chen在研究過(guò)程中都假設(shè)去掉了圖形文件、聲音文件以后的Web服務(wù)器日志如實(shí)地反映了用戶在網(wǎng)站中訪問(wèn)的情況。Mannila⑵把用戶訪問(wèn)頁(yè)面當(dāng)作事件，從網(wǎng)站訪問(wèn)日志中試著尋找用戶訪問(wèn)網(wǎng)站的周期。Ch

7、en錯(cuò)誤!未找到引用源。提出了最人向前參引路徑，并提出用這種方法把用戶的Session分解成為一個(gè)個(gè)訪問(wèn)事務(wù)，然后就可以在事務(wù)基礎(chǔ)上，挖掘用戶訪問(wèn)的模式。T.Yan研究了如何動(dòng)態(tài)地根據(jù)將用戶進(jìn)行分類(lèi)，并根據(jù)同類(lèi)用戶訪問(wèn)頁(yè)面的情況提供推薦頁(yè)面。1997年，PerKowitz141等人在人機(jī)界而研究領(lǐng)域提出了AdaPtiveWebSite的概念，主要研究的是如何以歷史訪問(wèn)為依據(jù)，使服務(wù)器提供的頁(yè)面可以自動(dòng)或者半自動(dòng)化地調(diào)整。1998年Han把Web服務(wù)器訪問(wèn)口志集成到數(shù)據(jù)立方體結(jié)構(gòu)（Datacubestructure)中，這樣就可以對(duì)訪問(wèn)日志用傳統(tǒng)的在線數(shù)據(jù)分析處理過(guò)

8、程(oLA