資源描述:
《web日志挖掘及其應(yīng)用研究》由會員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、華東師范大學(xué)博士學(xué)位論文WEB日志挖掘及其應(yīng)用研究姓名:鮑鈺申請學(xué)位級別:博士專業(yè):系統(tǒng)分析與集成指導(dǎo)教師:黃國興20091201論文摘要WEB是一個非常巨大的信息來源地,不過提供這些信息的網(wǎng)站結(jié)構(gòu)是否合理,唯一的評估者是訪問瀏覽它的用戶。每次用戶的訪問都會在WEB服務(wù)器上記錄一條訪問日志,根據(jù)這條日志可知用戶訪問此站點的URL,用戶的IP地址以及訪問時間等信息。我們通過對這些日志信息的分析和處理,可提取出訪問者的WLP(WebLogPath)。分析這些WLP并挖掘出用戶的通用行為模式,可以調(diào)整網(wǎng)站結(jié)構(gòu),優(yōu)化系統(tǒng)性能,進(jìn)一步提高對WEB終端用戶的服務(wù)質(zhì)量
2、。本文意在通過對WEB日志的挖掘和用戶訪問模式的研究,開發(fā)出一套基于WEB日志挖掘的智能網(wǎng)站知識提取系統(tǒng)。該系統(tǒng)通過對WEB訪問日志的分析,提出了真實路徑獲取算法,前向訪問路徑截取算法,可發(fā)掘出多用戶的通用訪問模式,單用戶的個人喜好訪問模式;提出了目標(biāo)頁面確定算法,頁面關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法,用于找出互聯(lián)網(wǎng)目標(biāo)頁面間的隱鏈接;發(fā)現(xiàn)了回溯過多的不合理頁面節(jié)點,從而調(diào)整和優(yōu)化了現(xiàn)有的網(wǎng)站結(jié)構(gòu);提出了用戶訪問路徑會話集發(fā)現(xiàn)算法,加權(quán)網(wǎng)站結(jié)構(gòu)圖生成算法,用于發(fā)掘WEB站點的頻繁遍歷主干子網(wǎng),可以為生成3G手機(jī)應(yīng)用的WAP子網(wǎng)提供參考;提出了單用戶搜索關(guān)鍵字關(guān)聯(lián)規(guī)則發(fā)現(xiàn)
3、算法,可以為單個用戶提供量身定做的個性化搜索引擎服務(wù);提出了一種新的數(shù)據(jù)隨機(jī)干擾處理方法,實現(xiàn)了隱私保護(hù)關(guān)聯(lián)規(guī)則挖掘模型;以及采用數(shù)據(jù)倉庫和OLAP技術(shù),實現(xiàn)了挖掘信息的統(tǒng)計決策及圖形化表示。本文研究的網(wǎng)站日志挖掘算法及應(yīng)用模型是當(dāng)前互聯(lián)網(wǎng)海量信息處理研究較為活躍的一個領(lǐng)域,模型本身體現(xiàn)了較先進(jìn)的思想。通過有針對性的各種網(wǎng)站日志挖掘算法,可以發(fā)現(xiàn)用戶通用訪問模式,找到網(wǎng)站頁面問隱藏的關(guān)聯(lián)規(guī)則,從而實現(xiàn)網(wǎng)站結(jié)構(gòu)的改進(jìn)策略,以及在電子商務(wù)網(wǎng)站中實現(xiàn)最大的商機(jī)撮合。關(guān)鍵詞:WEB日志挖掘,智能網(wǎng)站知識提取系統(tǒng),真實路徑獲取算法,頁面關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法,站點結(jié)構(gòu)調(diào)
4、整,個性化搜索引擎,數(shù)據(jù)隨機(jī)干擾處理方法ABSTRACTWebisahugeinformationsource,butonlytheuser,whooftenvisitsthewebsite,candeterminewhetherthestructureofthewebsiteisproper.EachvisitofUSerwillregisteravisitlogonthewebserver.Fromtheweblog,wecangettheinformation,suchas:URL,whichtheUServisited,theUSer’SIPad
5、dressandtheUSer’Svisittime.Inthispaper,wedevelopanintelligencewebsiteknowledgeextractionsystembyanalysistheweblogs.Usingit,webmanagercangettheUSer’Slatentevaluationtothewebatanymoment,adjusttheimproperwebstructure,andgraspthevisitstatueofthewholewebsiteresource.Intelligencewebsit
6、eknowledgeextractionsystemincludesthedatapreprocess,datawarehousesubsystembasedonOLAPtechnology,knowledgeextractionsubsystembasedonweblogmining.ByanalyzingtheWeblogs,thesystemCandiscovergeneralwebaccesspatterns;findthetargetpagesassociationrule;implementtheadjustmentandreorganiza
7、tionofwebsiteorganization;getthemajorsubwebsitestructureforthemobilephonevisitors;discoverthepersonalizedsearchenginemodel;presentaneffectivemethodforprivacypreservingassociationruleminingmodel.DatawarehousesubsystembasedonOLAPtechnologysetupadatawarehousebyusingthehugeweblog,onw
8、hichwecanuseOLAPtechnology,andmasterthev