web日志挖掘技術(shù)研究及應用

《web日志挖掘技術(shù)研究及應用》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。

1、第五章，原來是關(guān)聯(lián)規(guī)則，現(xiàn)在要改成聚類的方式，算法為第四章的改進的蟻群算法。原來的功能圖太寬跨界了，圖不可以超過文檔的內(nèi)容部分。第一章，主要是研究現(xiàn)狀及分析進行修改，其他的文字表述做相應修改查重率差不多達到10%1引言隨著WebH志技術(shù)的急劇增長和快速普及，以及在電子商務和信息共享等方面的廣泛應用，用戶可以用很低的成本從網(wǎng)絡(luò)上獲得信息，Intemet已成為最豐富的信息來源地，為了更好地對這些大量、無序的網(wǎng)頁信息進行排序和檢索，需要提升搜索引擎對網(wǎng)絡(luò)信息的處理和組織能力，因此在這樣的形勢下，產(chǎn)生了Web日志挖掘（Web日志Mining）111技術(shù)，目的在于從Web日

2、志的組織結(jié)構(gòu)和鏈接關(guān)系中發(fā)掘出有用的模式和規(guī)律，該技術(shù)無疑成為數(shù)據(jù)挖掘中的熱點，包括自然規(guī)則計算方法、神經(jīng)網(wǎng)絡(luò)、統(tǒng)計學、機器學習為主等人工智能相關(guān)技術(shù)。隨著Internet/WWW的全球互通互連，從中取得的數(shù)據(jù)量難以計算，所以當處理這些數(shù)據(jù)并且從Web日志的服務中抽取信息時需要采用Web日志挖掘技術(shù)。WebH志挖掘需要從非結(jié)構(gòu)化、半結(jié)構(gòu)化或動態(tài)易混淆的數(shù)據(jù)中,抽取潛在的、易用的信息和模式的過程。根據(jù)Web日志數(shù)據(jù)類別的不同，可以將Web0志挖掘分為以下三類：Web日志內(nèi)容挖掘、結(jié)構(gòu)挖掘和使用挖掘。這三類挖掘分別作用于網(wǎng)頁信息站點中的內(nèi)容、結(jié)構(gòu)和使用信息，并且已經(jīng)在

3、發(fā)現(xiàn)用戶訪問模式、反競爭情報活動、建立數(shù)據(jù)倉庫等很多方面得到了應用。1.1課題背景及研究意義隨著萬維網(wǎng)的迅速發(fā)展以及良好的發(fā)展趨勢，尤其是電了商務的蓬勃發(fā)展為網(wǎng)絡(luò)應用提供了強大的支撐。然而處理Web日志上海量的數(shù)據(jù)量，需耍一種能高效快捷地從Web日志頁面中獲取信息的工具，由此搜索引擎產(chǎn)生了。現(xiàn)有的搜索引擎技術(shù)在很大程度上方便了人們對信息的檢索，不過仍然存在一些不足之處，比如搜索精度不高、覆蓋率有限等問題，無法更好地發(fā)現(xiàn)Web日志上潛在、隱藏的知識。將傳統(tǒng)的數(shù)據(jù)挖掘同WebH志相融合，從而發(fā)展出了WebH志挖掘，該技術(shù)就傳統(tǒng)的數(shù)據(jù)挖掘來看存在較多優(yōu)勢。傳統(tǒng)數(shù)據(jù)挖掘技

4、術(shù)只是對數(shù)據(jù)結(jié)構(gòu)中結(jié)構(gòu)化的數(shù)據(jù)進行挖掘，通過數(shù)據(jù)間的存儲結(jié)構(gòu)不同來發(fā)現(xiàn)知識，而WebH志挖掘是針對半結(jié)構(gòu)化、雜亂、動態(tài)的數(shù)據(jù)進行挖掘，由于Web日志頁面內(nèi)容的復雜程度遠超過普通文本的樣式結(jié)果，所以導致了Web日志挖掘技術(shù)無法直接傳承傳統(tǒng)的數(shù)據(jù)庫挖掘模型和技術(shù)。這就讓挖掘的前提需耍將傳統(tǒng)數(shù)據(jù)挖掘技術(shù)與Web日志挖掘相結(jié)合，融合各自的優(yōu)點，使整個數(shù)據(jù)挖掘系統(tǒng)同數(shù)據(jù)庫能更緊密的結(jié)合在一起。由于要對數(shù)據(jù)進行組織和整合，這就需要一個完整的Web口志挖掘體系，才能分析并得出自己需要的信息。因此進行挖掘之前需要找到相關(guān)的Web日志文檔。各Web日志信息之間有著密切的關(guān)系，從中找

5、到正確的數(shù)據(jù)結(jié)構(gòu)特點，利用自動化搜索的方法實現(xiàn)對Web日志上信息結(jié)構(gòu)排序和內(nèi)容的抽取，避免了各算法之間使用的重復性。蟻群算法是一種模擬進化的算法，它是借鑒螞蟻在尋找食物過程中會白動搜尋最短路徑而衍牛出來的。該算法具有優(yōu)良的分布式計算、正反饋性等特點，特別是在解決組合最優(yōu)的問題上已經(jīng)吸引了很多屮外學者的關(guān)注。它也是繼遺傳算法、人工神經(jīng)網(wǎng)絡(luò)算法后又一個得到大家認可的研究性課題。1.2研究現(xiàn)狀及分析WebH志挖掘無論在國內(nèi)還是國外都是通過挖掘服務器存儲的WebFl志，進而發(fā)現(xiàn)用戶訪問Web站點的訪問模式。根據(jù)對WebH志數(shù)據(jù)源處理方法的不同,Web日志挖掘可以分為以下兩

6、類：第一類是將Web日志記錄中的數(shù)據(jù)進行轉(zhuǎn)換，然后傳遞進傳統(tǒng)的關(guān)系表中，再用常規(guī)的算法對關(guān)系表中的數(shù)據(jù)進行挖掘。第二類是在對Web日志記錄的數(shù)據(jù)進行挖掘之前對數(shù)據(jù)先進行數(shù)據(jù)預處理操作。國外對Web口志挖掘的研究基本上可以從1996年算起，比較突出的有：1996年學者M.S.Chen、H.Mannila^T.Yan提出了可以將數(shù)據(jù)挖掘方法用于Web研究領(lǐng)域。Mannila和Chen在研究過程中都假設(shè)去掉了圖形文件、聲音文件以后的Web服務器日志如實地反映了用戶在網(wǎng)站中訪問的情況。Mannila⑵把用戶訪問頁面當作事件，從網(wǎng)站訪問日志中試著尋找用戶訪問網(wǎng)站的周期。Ch

7、en錯誤!未找到引用源。提出了最人向前參引路徑，并提出用這種方法把用戶的Session分解成為一個個訪問事務，然后就可以在事務基礎(chǔ)上，挖掘用戶訪問的模式。T.Yan研究了如何動態(tài)地根據(jù)將用戶進行分類，并根據(jù)同類用戶訪問頁面的情況提供推薦頁面。1997年，PerKowitz141等人在人機界而研究領(lǐng)域提出了AdaPtiveWebSite的概念，主要研究的是如何以歷史訪問為依據(jù)，使服務器提供的頁面可以自動或者半自動化地調(diào)整。1998年Han把Web服務器訪問口志集成到數(shù)據(jù)立方體結(jié)構(gòu)（Datacubestructure)中，這樣就可以對訪問日志用傳統(tǒng)的在線數(shù)據(jù)分析處理過

8、程(oLA