資源描述:
《試析基于web日志挖掘系統(tǒng)的設(shè)計與實現(xiàn)》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、哈爾濱工程大學(xué)碩士學(xué)位論文基于Web日志挖掘系統(tǒng)的設(shè)計與實現(xiàn)姓名:劉鑫申請學(xué)位級別:碩士專業(yè):計算機應(yīng)用技術(shù)指導(dǎo)教師:楊永田20060101哈爾濱工程大學(xué)碩士學(xué)位論文摘要隨著互聯(lián)網(wǎng)的迅速普及和廣泛應(yīng)用,Web上產(chǎn):生的信息也隨之飛速增長,如何從浩瀚的資料中挖掘出有價值的信息,受到各方面的關(guān)注。www網(wǎng)無論是在訪問量、規(guī)模上還是在網(wǎng)站設(shè)計的復(fù)雜度上都以驚人的速度增長著。像Web站點設(shè)計、Web服務(wù)設(shè)計和一些通過Web網(wǎng)站進(jìn)行簡單的導(dǎo)航模式設(shè)計也都增大了設(shè)計的難度。為了更好地設(shè)計Web服務(wù)器,一個更好的
2、方式就是分析原來的網(wǎng)站是如何被利用的。日志數(shù)據(jù)的分析可以通過統(tǒng)計數(shù)據(jù)的形式,像統(tǒng)計經(jīng)常被訪問的頁面集、統(tǒng)計經(jīng)常需要分析的重要的表格數(shù)據(jù)、通過網(wǎng)站分析找出一般的訪問路徑模式等。Web日志挖掘就是運用數(shù)據(jù)挖掘的思想來對服務(wù)器日志進(jìn)行分析處理,從而解決上醞提出的各種問題。本研究在簡述了Web日志挖掘的概念、研究內(nèi)容、關(guān)鍵技術(shù)和目前的國內(nèi)外研究狀況的基礎(chǔ)上,針對某區(qū)政府門戶網(wǎng)站的訪問日志,采用數(shù)據(jù)挖掘技術(shù)進(jìn)行數(shù)據(jù)分析,從而找出用戶訪問規(guī)律和內(nèi)容喜好,為改進(jìn)網(wǎng)站結(jié)構(gòu)和內(nèi)容提供了決策支持。論文所做的主要工作是:
3、(11對Web日志的預(yù)處理進(jìn)行了研究,給出了預(yù)處理的流程并分析了其中的難點;包括數(shù)據(jù)凈化、會話識別、用戶識別、路徑補充,并描述了預(yù)處理模型及其算法流程f21對其經(jīng)典Apriori算法進(jìn)行了剖析,提出了改進(jìn)算法M.Apriori算法,并通過縮減數(shù)據(jù)項集的辦法來提高Apriori算法的執(zhí)行效率;(31對路徑遍歷模式挖掘進(jìn)行了研究,例如最大向前路徑生成算法,頻繁遍歷路徑挖掘算法,最大頻繁遍歷挖掘算法,并嘗試將其用到某區(qū)政府網(wǎng)站的挖掘之中;(4)根據(jù)Apriori改進(jìn)算法,通過修改源代碼的方式應(yīng)用到Weka
4、挖掘工具中;用改進(jìn)后的Weka挖掘工具對該政府網(wǎng)站同志進(jìn)行挖掘,依據(jù)挖掘結(jié)果給出針對該區(qū)政府門戶網(wǎng)站的改進(jìn)建議。關(guān)鍵詞:Web只志挖掘,關(guān)聯(lián)規(guī)則,路徑遍歷模式,Apriori算法,Weka哈爾濱1程人學(xué)碩十學(xué)位論文ABSTRACTAsthefastdevelopingandspreadingofInternet,Webusageinformationgrowsquickly.Peoplebegintopaycloseattentiontominingva]uableinformationfromla
5、rgeamountofdata.TheWorldWideWeb(WWW)centihuestogrowatanastoundingrateinboththesheervolumeoftrafficandtheSizeandcomplexityofWebsites.ThecomplexityoftaskssuckasWebsitedesign,Webserverdesign,andofsimplynavigatingthroughaWebsitehaveincreasedalongwiththiSgr
6、owth.AnimportantinputtothesedesigntasksiStheanalysiSofhowaWebsiteiSbeingused.LoganalysiSincludesstraightforwardstatistics,suchaspageaccessfrequency,aswellasmoresophisticatedformsofanalysiS,suchasfindingthecommontraversalpathsthroughaWebsite.WebLogginin
7、giStheapplicationofdataminingtechniquestoserverlogsoflargeWebdatarepositoriesinordertoproduceresultsthatcanbeusedinthedesigntasksmentionedabove.Inourresearch,weexplaintheconcept,researchworks,keytechnologiesofWeblogminingandrelatedresearchathomeandabro
8、ad,andthenusedataminingtechnologytoanalyzetheWebusageinformationofonedistrictgovernmentSOastofindouttheusagepatternandpreferenceofenterprisesandindividualsasthebetterdecision—makingaidforwebsiteexecutives.ThethemSachievesthefollowingtas