fl15111702+web日志挖掘技術(shù)的研究及應(yīng)用

《fl15111702+web日志挖掘技術(shù)的研究及應(yīng)用》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、第五章，原來(lái)是關(guān)聯(lián)規(guī)則，現(xiàn)在要改成聚類的方式，算法為第四章的改進(jìn)的蟻群算法。原來(lái)的功能圖太寬跨界了，圖不可以超過(guò)文檔的內(nèi)容部分。第一章，主要是研究現(xiàn)狀及分析進(jìn)行修改，其他的文字表述做相應(yīng)修改查重率差不多達(dá)到10%1引言隨著Internet/Web日志技術(shù)的急劇增長(zhǎng)和快速普及,以及在電子商務(wù)和信息共享等方面的廣泛應(yīng)用，用戶可以用很低的成本從網(wǎng)絡(luò)上獲得信息，Internet已成為最豐富的信息來(lái)源地，為了更好地對(duì)這些大量、無(wú)序的網(wǎng)頁(yè)信息進(jìn)行排序和檢索，需要提升搜索引擎對(duì)網(wǎng)絡(luò)信息的處理和組織能力，因此在這樣的形勢(shì)下，產(chǎn)生了Web日志挖掘(Web日志Mining)

2、[1]技術(shù)，目的在于從Web日志的組織結(jié)構(gòu)和鏈接關(guān)系中發(fā)掘出有用的模式和規(guī)律，該技術(shù)無(wú)疑成為數(shù)據(jù)挖掘中的熱點(diǎn)，包括自然規(guī)則計(jì)算方法、神經(jīng)網(wǎng)絡(luò)、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)為主等人工智能相關(guān)技術(shù)。隨著Internet/WWW的全球互通互連，從中取得的數(shù)據(jù)量難以計(jì)算，所以當(dāng)處理這些數(shù)據(jù)并且從Web日志的服務(wù)中抽取信息時(shí)需要采用Web日志挖掘技術(shù)。Web日志挖掘需要從非結(jié)構(gòu)化、半結(jié)構(gòu)化或動(dòng)態(tài)易混淆的數(shù)據(jù)中,抽取潛在的、易用的信息和模式的過(guò)程。根據(jù)Web日志數(shù)據(jù)類別的不同，可以將Web日志挖掘分為以下三類：Web日志內(nèi)容挖掘、結(jié)構(gòu)挖掘和使用挖掘。這三類挖掘分別作用于網(wǎng)頁(yè)信息

3、站點(diǎn)中的內(nèi)容、結(jié)構(gòu)和使用信息，并且已經(jīng)在發(fā)現(xiàn)用戶訪問(wèn)模式、反競(jìng)爭(zhēng)情報(bào)活動(dòng)、建立數(shù)據(jù)倉(cāng)庫(kù)等很多方面得到了應(yīng)用。1.1課題背景及研究意義隨著萬(wàn)維網(wǎng)的迅速發(fā)展以及良好的發(fā)展趨勢(shì)，尤其是電子商務(wù)的蓬勃發(fā)展為網(wǎng)絡(luò)應(yīng)用提供了強(qiáng)大的支撐。然而處理Web日志上海量的數(shù)據(jù)量，需要一種能高效快捷地從Web日志頁(yè)面中獲取信息的工具，由此搜索引擎產(chǎn)生了?，F(xiàn)有的搜索引擎技術(shù)在很大程度上方便了人們對(duì)信息的檢索，不過(guò)仍然存在一些不足之處，比如搜索精度不高、覆蓋率有限等問(wèn)題，無(wú)法更好地發(fā)現(xiàn)Web日志上潛在、隱藏的知識(shí)。將傳統(tǒng)的數(shù)據(jù)挖掘同Web日志相融合，從而發(fā)展出了Web日志挖掘，該技

4、術(shù)就傳統(tǒng)的數(shù)據(jù)挖掘來(lái)看存在較多優(yōu)勢(shì)。它們的不同之處在于：傳統(tǒng)數(shù)據(jù)挖掘技術(shù)只是對(duì)數(shù)據(jù)結(jié)構(gòu)中結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行挖掘，通過(guò)數(shù)據(jù)間的存儲(chǔ)結(jié)構(gòu)不同來(lái)發(fā)現(xiàn)知識(shí)，而Web日志挖掘是針對(duì)半結(jié)構(gòu)化、雜亂、動(dòng)態(tài)的數(shù)據(jù)進(jìn)行挖掘，由于Web日志頁(yè)面內(nèi)容的復(fù)雜程度遠(yuǎn)超過(guò)普通文本的樣式結(jié)果，所以導(dǎo)致了Web日志挖掘技術(shù)無(wú)法直接傳承傳統(tǒng)的數(shù)據(jù)庫(kù)挖掘模型和技術(shù)。這就讓挖掘的前提需要將傳統(tǒng)數(shù)據(jù)挖掘技術(shù)與Web日志挖掘相結(jié)合，融合各自的優(yōu)點(diǎn)，使整個(gè)數(shù)據(jù)挖掘系統(tǒng)同數(shù)據(jù)庫(kù)能更緊密的結(jié)合在一起。由于要對(duì)數(shù)據(jù)進(jìn)行組織和整合，這就需要一個(gè)完整的Web日志挖掘體系，才能分析并得出自己需要的信息。因此進(jìn)行

5、挖掘之前需要找到相關(guān)的Web日志文檔。各Web日志信息之間有著密切的關(guān)系，從中找到正確的數(shù)據(jù)結(jié)構(gòu)特點(diǎn)，利用自動(dòng)化搜索的方法實(shí)現(xiàn)對(duì)Web日志上信息結(jié)構(gòu)排序和內(nèi)容的抽取，避免了各算法之間使用的重復(fù)性。蟻群算法是一種模擬進(jìn)化的算法，它是借鑒螞蟻在尋找食物過(guò)程中會(huì)自動(dòng)搜尋最短路徑而衍生出來(lái)的。該算法具有優(yōu)良的分布式計(jì)算[2]、正反饋性等特點(diǎn)，特別是在解決組合最優(yōu)的問(wèn)題上已經(jīng)吸引了很多中外學(xué)者的關(guān)注。它也是繼遺傳算法、人工神經(jīng)網(wǎng)絡(luò)算法后又一個(gè)得到大家認(rèn)可的研究性課題。在本論文之中，將一種比較新型的蟻群算法的概念引入到WEB挖掘的聚類、分類技術(shù)之中，在獲取更優(yōu)的分類

6、規(guī)則上面取得了較好的效果。1.1研究現(xiàn)狀及分析Web日志挖掘無(wú)論在國(guó)內(nèi)還是國(guó)外都是通過(guò)挖掘服務(wù)器存儲(chǔ)的Web日志，進(jìn)而發(fā)現(xiàn)用戶訪問(wèn)Web站點(diǎn)的訪問(wèn)模式。根據(jù)對(duì)Web日志數(shù)據(jù)源處理方法的不同，Web日志挖掘可以分為以下兩類：第一類是將Web日志記錄中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，然后傳遞進(jìn)傳統(tǒng)的關(guān)系表中，再用常規(guī)的算法對(duì)關(guān)系表中的數(shù)據(jù)進(jìn)行挖掘。第二類是在對(duì)Web日志記錄的數(shù)據(jù)進(jìn)行挖掘之前對(duì)數(shù)據(jù)先進(jìn)行數(shù)據(jù)預(yù)處理操作。(1)Web日志挖掘聚類和分類技術(shù)聚類是從Web日志的訪問(wèn)數(shù)據(jù)中分析并整合出來(lái)具有相似特征事務(wù)的技術(shù)。Web日志使用挖掘中分為：頁(yè)面聚類和使用聚類。頁(yè)面聚類是

7、通過(guò)搜索引擎在Web日志上找到具有相關(guān)內(nèi)容的頁(yè)面組，這更方便于用戶在上網(wǎng)時(shí)能更容易地獲得想要的信息。使用聚類就是將具有相似瀏覽模式的用戶分為一組，這樣形成了若干組，并對(duì)其量化，從中得到對(duì)用戶有用的規(guī)則，當(dāng)前該技術(shù)常應(yīng)用于電子商務(wù)和一些個(gè)性化服務(wù)上。這兩種聚類方法就是通過(guò)搜索引擎分析用戶查詢或訪問(wèn)網(wǎng)頁(yè)信息時(shí)產(chǎn)生的歷史記錄所形成的HTML，來(lái)向用戶提供超鏈接。分類是對(duì)新添加的數(shù)據(jù)進(jìn)行分類并將一個(gè)對(duì)象分到事先定義好的類中，根據(jù)用戶群的特征來(lái)挖掘出用戶群的訪問(wèn)特征。在Web日志挖掘中，分類可以通過(guò)訪問(wèn)用戶信息而得到的一些用戶特征，這需要抽取并選擇出最好地描述這組

8、特定用戶的特征，并根據(jù)這些特征對(duì)用戶進(jìn)行分類。常使用監(jiān)督歸納學(xué)習(xí)算法來(lái)進(jìn)行分類，