資源描述:
《web日志挖掘的相關(guān)技術(shù)研究》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、西南交通大學(xué)碩士學(xué)位論文Web日志挖掘的相關(guān)技術(shù)研究姓名:郭艷軍申請(qǐng)學(xué)位級(jí)別:碩士專業(yè):計(jì)算機(jī)應(yīng)用技術(shù)指導(dǎo)教師:戴齊20080501西南交通大學(xué)碩士研究生學(xué)位論文第1頁(yè)摘要隨著Internet的迅速發(fā)展和不斷普及,Web日志資源越來(lái)越多,如何分析和利用這些海量數(shù)據(jù)是當(dāng)前突出的問題。Web日志挖掘是網(wǎng)絡(luò)信息處理的一種新的技術(shù),也是數(shù)據(jù)挖掘在Intemet領(lǐng)域的一個(gè)重要應(yīng)用。Web日志挖掘是將數(shù)據(jù)挖掘技術(shù)用于Web服務(wù)器日志以獲取有規(guī)律性的知識(shí)和用戶的訪問行為模式,從而改善Web站點(diǎn)的組織結(jié)構(gòu),提高站點(diǎn)的
2、訪問質(zhì)量,改進(jìn)網(wǎng)站的性能。數(shù)據(jù)預(yù)處理是Web日志挖掘的重要環(huán)節(jié),它決定模式發(fā)現(xiàn)和模式分析算法的性能。Web日志預(yù)處理主要包括5個(gè)環(huán)節(jié):數(shù)據(jù)清理、用戶識(shí)別、會(huì)話識(shí)別、路徑補(bǔ)充和事務(wù)識(shí)別。本文對(duì)Web日志預(yù)處理的各個(gè)環(huán)節(jié)進(jìn)行了研究,并介紹了各個(gè)環(huán)節(jié)的相關(guān)方法。在分析目前會(huì)話構(gòu)造算法的基礎(chǔ)上提出了將兩種時(shí)間窗口結(jié)合來(lái)構(gòu)造會(huì)話的方法。頻繁序列模式挖掘是Web日志挖掘的一個(gè)重要研究方向,由于類Apriroi的序列模式挖掘算法要掃描序列數(shù)據(jù)庫(kù)多次,且會(huì)產(chǎn)生龐大的候選集。本文采用了WAP.Tree結(jié)構(gòu)來(lái)存儲(chǔ)事務(wù)序列
3、,只需掃描數(shù)據(jù)庫(kù)兩次,由于WAP.Mine算法要遞歸的產(chǎn)生條件子樹,耗費(fèi)內(nèi)存空間。針對(duì)在WAP.Tree樹上的挖掘算法WAP.Mine的不足,提出了基于WAP.Tree的新挖掘算法NWAP.Mine算法,實(shí)驗(yàn)證明了算法的有效性。針對(duì)現(xiàn)有的序列模式挖掘算法沒有考慮網(wǎng)頁(yè)的權(quán)重,提出了基于平均停留時(shí)間的興趣度定義,針對(duì)現(xiàn)有網(wǎng)頁(yè)興趣度存在的不足,提出了一種改進(jìn)的網(wǎng)頁(yè)興趣度,并將該興趣度作為權(quán)重應(yīng)用到權(quán)重序列模式挖掘算法,找出用戶感興趣的訪問路徑。通過(guò)實(shí)驗(yàn)表明將改進(jìn)后的興趣度應(yīng)用于序列模式挖掘能得到更能體現(xiàn)用戶
4、訪問行為的訪問模式。關(guān)鍵詞:Web日志挖掘:數(shù)據(jù)預(yù)處理;序列模式;興趣度;訪問模式樹西南交通大學(xué)碩士研究生學(xué)位論文第1I頁(yè)AbstractWiththerapiddevelopmentandincreasingpopularizationoftheIntemet,therearemoreandmoreWeblogresourcesavailablleontheweb.Howtoanalyzeandusethishugeamountofdatahasbecomeaseriousproblematpres
5、ent.WebLogMiningiSanewtechniquefornetworkinformationprocessing,andanimportantapplicationofdataminingontheinternet.WebLogMiningisanapplicationofdatamininginwebserverlogtoobtainthepatternandtheaccessbehaviorialmodeoftheusers.Thishelpstoimprovewebsitestruc
6、ture,itsaccessqualityanditsperformances.DatapreprocessingisanimportantstepoftheWebLogMining,whichdeterminestheperformanceofpatternrecognitionandpatternanalysisalgorithm.Weblogpreprocessingconsistsofdatacleanup,userrecognition,dialogrecognition,pathcompl
7、ementandtransactionrecognition.ThisthesisstudiedeachindividualstepsoftheWeblogpreprocessing,andintroducedtherelaventmethodstoeachparts.Basedontheanalysisforthecurrentdialogstructuralalgorithms,amethodforestabilishingadialogbycombiningtwotimewindowswaspr
8、esented.FrequentSequentialPatternMiningisallimportantresearchfieldofWebLogMining.SincethesequentialpatternminingalgorithmoftheclassApriroineedstostallsequencedatabasemultipletimes,whichproducesenormoussetsofcandidatedata,WAP—Tree