資源描述：
《基于xml的web數(shù)據(jù)挖掘技術(shù)的研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、分類號(hào)：——UDC：——密級(jí)：——編號(hào)：——工學(xué)碩士學(xué)位論文基于XML的Web數(shù)據(jù)挖掘技術(shù)的研究碩士研究生：指導(dǎo)教師：學(xué)位級(jí)別：學(xué)科、專業(yè)：所在單位：論文提交日期：論文答辯日期：學(xué)位授予單位：薛大偉劉杰教授工學(xué)碩士計(jì)算機(jī)應(yīng)用技術(shù)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院2008年2月20日2008年2月29日哈爾濱工程大學(xué)哈爾濱工程大學(xué)碩+學(xué)位論文摘要隨著Internet的飛速發(fā)展，互聯(lián)網(wǎng)已成為信息傳播與共享的重要資源。由于Web數(shù)據(jù)半結(jié)構(gòu)化、異構(gòu)、海量等特點(diǎn)，使得傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)不能直接運(yùn)用到Web數(shù)據(jù)源上。Web數(shù)據(jù)挖掘就是從各種格式的Web文檔或者Web活動(dòng)中抽取潛在的、有用的模式。由于XML的結(jié)構(gòu)化、
2、可擴(kuò)展性等優(yōu)點(diǎn)，將XML與Web數(shù)據(jù)挖掘結(jié)合起來進(jìn)行研究也已經(jīng)成為這個(gè)領(lǐng)域的熱點(diǎn)。本文首先研究了Web數(shù)據(jù)抽取技術(shù)，提出一種基于擴(kuò)展DOM樹的Web數(shù)據(jù)抽取方法。在Web頁面的DOM樹的節(jié)點(diǎn)中添加了頁面的視覺特征元素和鏈接特征元素，然后進(jìn)行節(jié)點(diǎn)重復(fù)度和新穎度的計(jì)算。通過計(jì)算多個(gè)相似頁面之間子樹的新穎度，可以自動(dòng)學(xué)習(xí)和識(shí)別出對象數(shù)據(jù)并抽取出來，將抽取結(jié)果輸出為XML文檔。其次研究的是XML文檔聚類，將XML文檔的樹形結(jié)構(gòu)轉(zhuǎn)化為一種層次結(jié)構(gòu)，為處于不同層的元素賦予不同的權(quán)值。聚類算法計(jì)算XML文檔與己存在類簇的層次相似度，將XML文檔劃分到層次相似度最大的聚類中。層次結(jié)構(gòu)反映的是層與層之間的關(guān)
3、系，簡化了XML文檔樹形結(jié)構(gòu)，使得計(jì)算相似度的時(shí)間消耗有所降低。最后，本文通過實(shí)驗(yàn)對算法進(jìn)行驗(yàn)證，并對實(shí)驗(yàn)結(jié)果進(jìn)行分析，論述了算法的優(yōu)點(diǎn)和不足。關(guān)鍵詞：Web數(shù)據(jù)挖掘；Web數(shù)據(jù)抽?。籜ML文檔聚類；擴(kuò)展DOM樹；層次相似度．哈爾濱丁程大學(xué)碩士學(xué)位論文AbstractWiththerapiddevelopmentofInteract,theInternethasbecometheimportantresourcesofinformationtransmissionandshare．ThefeaturesofWebdatasuchassemi—structured，heterogeneous
4、andmassmaketraditionaldataminingtechnologyarenotdirectlyappliedtoWebdatasources．Webdataminingmeansthatextractingapotential．usefulmodelfromtheWebdocumentsorWebactivities．BecauseoftheadvantagesasstructuralandexpansibilityofXML，researchonXMLcombinedwithWebdatamininghasalsobecamepopular．Inthisthesis，t
5、heWebdataextractiontechnologyWasresearchedfirstly，aWebdataextractionmethodbasedontheexpandedDOMtreeWasproposed．ThevisualandlinkfeatureswereaddedtothenodesofDOMtree，andthentherepeatdegreeandnoveltydegreeofthenodescouldbecalculated．Bycalculatingthenoveltydegreeofthesubtreebetweenthesimilarpages，obje
6、ctdatacouldbeautomaticallyidentifiedandextracted．TheextractedresultsweresavedasXMLdocuments．Secondly，theXMLdocumentclusteringWasresearched，thetree’SstructureofXMLdocumentWastransferedtoalevelstructure．theelementsatdifferentlayerswereendueddifferentvalue．Theclusteringalgorithmcomputedthelevelsimila
7、ritybetweenaXMLdocumentandexistingclusters，andgroupstheXMLdocumenttotheclusterwithmaximumlevelsimilarity．Therelationshipbetweenlayerswasreflectedinlevelstructure，XMLdocument’StreestructureWaSsimplifiedSOthatmakin
