web日志數(shù)據(jù)挖掘的研究和實(shí)現(xiàn)

《web日志數(shù)據(jù)挖掘的研究和實(shí)現(xiàn)》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、摘要隨著信息技術(shù)和計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的不斷成熟和發(fā)展，數(shù)據(jù)庫(kù)技術(shù)雖然已日漸成熟并被廣泛應(yīng)用，但其只是基本的信息存儲(chǔ)和管理的方式，大量有價(jià)值的數(shù)據(jù)被隱藏在數(shù)據(jù)中而不能被人所使用。數(shù)據(jù)挖掘作為一門(mén)新興的研究領(lǐng)域應(yīng)運(yùn)而生。數(shù)據(jù)挖掘技術(shù)被稱(chēng)為未來(lái)信息處理的主要技術(shù)之一。依據(jù)數(shù)據(jù)挖掘數(shù)據(jù)在Web中的數(shù)據(jù)源的不同，可以把Web挖掘分為Web結(jié)構(gòu)挖掘、WEB訪(fǎng)問(wèn)信息挖掘、Web內(nèi)容挖掘。Web日志挖掘的過(guò)程一般分為三個(gè)階段：日志數(shù)據(jù)預(yù)處理、模式識(shí)別分析階段和挖掘算法的實(shí)施。XML全稱(chēng)為可擴(kuò)展標(biāo)記語(yǔ)言，它以一種開(kāi)放的、自我描述的方式定義數(shù)

2、據(jù)結(jié)構(gòu)，能夠明晰的對(duì)數(shù)據(jù)的結(jié)構(gòu)進(jìn)行表示，從而體現(xiàn)出數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系，XML為異構(gòu)的數(shù)據(jù)源提供了一種統(tǒng)一結(jié)構(gòu)的描述方法。ID3算法是在數(shù)據(jù)挖掘技術(shù)中經(jīng)常使用的經(jīng)典算法，其主要應(yīng)用于分類(lèi)挖掘的實(shí)現(xiàn)中，產(chǎn)生的總是最小的樹(shù)形結(jié)構(gòu)，通過(guò)驗(yàn)證實(shí)例證明本文設(shè)計(jì)的系統(tǒng)對(duì)日志文件的的事物分析具有很好的效果。本系統(tǒng)的主要?jiǎng)?chuàng)新之處即是在于采用XML規(guī)則文件技術(shù)，對(duì)日志數(shù)據(jù)進(jìn)行預(yù)處理，進(jìn)行規(guī)則的匹配。其具有很強(qiáng)的靈活性，表現(xiàn)在用戶(hù)可以根據(jù)自己的習(xí)慣偏好對(duì)XML規(guī)則文件進(jìn)行配置，產(chǎn)生適合自身特點(diǎn)的日志規(guī)則，從而生成用戶(hù)感興趣的新的日志文件。

3、在本設(shè)計(jì)系統(tǒng)可以創(chuàng)建六種針對(duì)不同的日志文件的規(guī)則：通用日志文件規(guī)則、syslog日志文件規(guī)則、Weblogic規(guī)則、log4j-xml規(guī)則、oracle-alter日志規(guī)則、jboss規(guī)則。根據(jù)不同的日志文件類(lèi)型，本系統(tǒng)可以產(chǎn)生相對(duì)應(yīng)的規(guī)則文件。規(guī)則文件以XML格式存在，根據(jù)規(guī)則文件對(duì)輸入的日志文件進(jìn)行相關(guān)的處理。本系統(tǒng)的創(chuàng)新點(diǎn)即在于采用日志挖掘算法與XML技術(shù)結(jié)合，運(yùn)用XML技術(shù)的自描述和結(jié)構(gòu)描述功能以及其對(duì)數(shù)據(jù)的通用表示方式，實(shí)現(xiàn)對(duì)日志文件進(jìn)行分析和統(tǒng)計(jì)。關(guān)鍵字：數(shù)據(jù)挖掘，日志挖掘，ID3算法，Web日志分析工具，

4、XML語(yǔ)言IABSTRACTAlongwithcontinuousmaturityoftheinformationtechnologyandcomputernetworktechnology,althoughdatabasetechnologyhaveincreasinglyturnedmatureandbeenwidelyused,itisonlyabasicmethodofinformationstorageandmanagement.Agreatamountofvaluabledataissubsurgedint

5、heseaofdataandcan’tbeused.Dataminingemergeasaburgeoningresearchdomain.Dataminingtechnologyiscalledoneofthemajortechnologyofinformationprocessinginthefuture.Accordingtodatafromdifferentdatasourceintheweb,wecanclassifythewebminingintowebstructuremining,webaccessin

6、formationmining,webcontentmining.Weblogminingprocesscanbegenerallydividedintothreestages:logdatapreprocessing、patternrecognitionanalisisandtheimplementationofalgorithmformining.XMLisaExtensiveMarkuplanguage,itdefinedatastructurewithaopenandself-descriptionmode,i

7、tcanclearlyindatedatastructure,sothatitcanreflecttherelationshipbetweendata.XMLprovidesadescriptionoftheunifiedstructureforheterogeneousdatasources.XMLprovideamethodofcommunicatingbetweendifferentdata.ID3algorithmisaoftenusedclassicalalgorithmindataminingtechniq

8、ue,whichismainlyappliedtotheimpletationofdatamining.Italwayscreatesthesmallesttreestructureandisprovedthesystemthisarticledesighhasgoodeffecttotransactionanalysisoflo