資源描述:
《Web日志挖掘系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。
1、SWLMS:一個(gè)Web日志挖掘系統(tǒng)楊怡玲1,管旭東1,陸麗娜2,尤晉元1(上海交通大學(xué)計(jì)算機(jī)系,上海200030)1(西安交通大學(xué)計(jì)算機(jī)系,西安710049)2摘要:Internet的發(fā)展帶動(dòng)了WWW的發(fā)展,繼數(shù)據(jù)挖掘技術(shù)成功地應(yīng)用于傳統(tǒng)數(shù)據(jù)庫(kù)領(lǐng)域之后,人們對(duì)基于Web的數(shù)據(jù)挖掘技術(shù)(簡(jiǎn)稱(chēng)Web挖掘)也開(kāi)始進(jìn)行研究。Web日志挖掘是將數(shù)據(jù)挖掘的技術(shù)應(yīng)用于Web服務(wù)器上的日志文件,以發(fā)現(xiàn)用戶的瀏覽模式,分析站點(diǎn)的使用情況。它可用于協(xié)助管理者優(yōu)化站點(diǎn)結(jié)構(gòu),提高站點(diǎn)效率。在分析Web日志挖掘的困難及對(duì)策的基礎(chǔ)上,給出了Web日志挖掘系統(tǒng)SWLMS的體系結(jié)構(gòu)。具體介紹了SWLMS中日志的預(yù)處理過(guò)程
2、,包括數(shù)據(jù)凈化、用戶識(shí)別、會(huì)話識(shí)別、路徑補(bǔ)充的主要任務(wù)及其實(shí)現(xiàn),并著重介紹了預(yù)處理之后的序列模式識(shí)別過(guò)程和算法,包括最大向前路徑的識(shí)別和頻繁遍歷路徑的發(fā)現(xiàn),并給出了實(shí)驗(yàn)結(jié)果。關(guān)鍵詞:數(shù)據(jù)挖掘;Web日志挖掘;序列模式識(shí)別;最大向前路徑中圖分類(lèi)號(hào):TP311.13SWLMS:AWebLogMiningSystemYANGYi-ling1,GUANXu-dong1,LULi-na2,YOUJin-yuan1Dept.ofComputer,ShanghaiJiaotongUniv.,Shanghai200030,China1Dept.ofComputer,Xi’anJiaotongUniv.,X
3、i’an710049,China2Abstract:InternetbringsthewidespreadofWWW.Afterthesuccessfulapplicationofdatamining(DM)technologytothetraditionaldatabasedomain,webmining,theapplicationofDMtowebdata,begintoarise.Inthispaper,wemainlydiscussweblogmining,theapplicationofDMtologdatageneratedbywebservers,whichcouldass
4、istthewebmastertooptimizesitearchitectureandincreasevisitingefficiency.Basedontheanalysisofdifficultiesandthecorrespondingsolutionsofweblogmining,thearchitectureofSWLMS,oursampleweblogminingsystemisaddressed.Thedata-preprocessingphaseinSWMLS,includingdatacleaning,userrecognition,sessionidentificat
5、ionandpathfillingisdiscussedindetail.Thenthesequentialpatternrecognitionphaseanditsalgorithmsarepresented,includingtherecognitionofmaximumforwardpathsandfrequenttraversalpaths,withsomeexperimentalresultspresented.KeyWords:datamining;weblogmining;sequentialpatternrecognition;maximumforwardpath收稿日期:
6、1999-08-30作者簡(jiǎn)介:楊怡玲(1973~),女,博士生Internet的發(fā)展帶動(dòng)了WWW的發(fā)展,繼數(shù)據(jù)挖掘技術(shù)成功地應(yīng)用于傳統(tǒng)數(shù)據(jù)庫(kù)領(lǐng)域之后,人們對(duì)基于Web的數(shù)據(jù)挖掘技術(shù)(簡(jiǎn)稱(chēng)Web挖掘)也開(kāi)始進(jìn)行研究。Web日志挖掘是將數(shù)據(jù)挖掘的技術(shù)應(yīng)用于Web服務(wù)器上的日志文件,以發(fā)現(xiàn)用戶的瀏覽模式,分析站點(diǎn)的使用情況。它可用于協(xié)助管理者優(yōu)化站點(diǎn)結(jié)構(gòu),提高站點(diǎn)效率。71Web日志挖掘的困難和解決方法Web服務(wù)器日志記錄了用戶訪問(wèn)本站點(diǎn)的信息。典型的Web服務(wù)器日志包括以下信息:IP地址、請(qǐng)求時(shí)間、方法(如GET)、被請(qǐng)求文件的URL、HTTP版本號(hào)、返回碼、傳輸字節(jié)數(shù)、引用頁(yè)的URL(指向被
7、請(qǐng)求文件的頁(yè)面)和代理。但是,由于本地緩存、代理服務(wù)器和防火墻的存在,使得Web日志中的數(shù)據(jù)并不精確,直接在其上進(jìn)行挖掘非常困難,而且有可能導(dǎo)致結(jié)果的錯(cuò)誤。在Web日志挖掘中,主要是提供面向用戶的信息分析,所以首先要從Web日志中對(duì)用戶會(huì)話進(jìn)行識(shí)別,以次作為信息分析的基礎(chǔ)。用戶會(huì)話是一個(gè)用戶在規(guī)定的時(shí)間內(nèi)請(qǐng)求的所有Web頁(yè)面。日志的不精確性往往增加了識(shí)別用戶會(huì)話的難度。本文介紹的Web日志挖掘系統(tǒng)SWLMS(ASimpl