資源描述：
《deep web數(shù)據(jù)抽取及集成技術(shù)研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、蘇州大學(xué)碩士學(xué)位論文DeepWeb數(shù)據(jù)抽取及集成技術(shù)研究姓名：劉桂峰申請學(xué)位級別：碩士專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)指導(dǎo)教師：崔志明20090501DeepWeb數(shù)據(jù)抽取及集成技術(shù)研究中文摘要隨著萬維網(wǎng)技術(shù)和數(shù)據(jù)庫技術(shù)的結(jié)合，網(wǎng)絡(luò)開始迅速的深化。大量的信息都隱藏在Web數(shù)據(jù)庫中，用戶通過查詢可以動(dòng)態(tài)的獲取這些信息，學(xué)者們將這類資源稱為Web。由于．DeepWeb資源分布在各個(gè)DeepWeb站點(diǎn)，使用起來較為不便，因此，面向DeepWeb的數(shù)據(jù)集成系統(tǒng)便應(yīng)運(yùn)而生。本文對DeepWeb領(lǐng)域的數(shù)據(jù)抽取及集成技術(shù)進(jìn)行了研究，并提出了相關(guān)的算法和解決方案，最后設(shè)計(jì)了一
2、個(gè)面向DeepWeb的搜索引擎原型系統(tǒng)。本文的主要研究工作如下：(1)將Web數(shù)據(jù)對象從查詢結(jié)果頁面中抽取出來是DeepWeb數(shù)據(jù)集成的第一步，本文基于文檔對象模型，通過頁面預(yù)處理、抽取候選Web數(shù)據(jù)對象集、去除非Web數(shù)據(jù)對象三個(gè)階段提出了一種自動(dòng)抽出Web數(shù)據(jù)對象的方法。(2)提出了一種對模式異構(gòu)的Web數(shù)據(jù)對象進(jìn)行集成的方法。該方法以向量空間模型為基礎(chǔ)，以聚類為手段對來自不同DeepWeb站點(diǎn)的異構(gòu)Wreb數(shù)據(jù)對象進(jìn)行了集成，并以區(qū)分度為基礎(chǔ)，以相似度為度量手段檢測出了重復(fù)的Web數(shù)據(jù)對象，實(shí)現(xiàn)了Wreb數(shù)據(jù)對象的去重。(3)分析了海量數(shù)據(jù)的
3、組織方法對查詢響應(yīng)速度的影響，在此基礎(chǔ)上提出了一種對海量Web數(shù)據(jù)對象進(jìn)行組織的方法。該方法通過遞增聚類使Web數(shù)據(jù)對象根據(jù)自身的特征自然的聚集在一起，形成一個(gè)科學(xué)的類別層次，為查詢的快速響應(yīng)奠定基礎(chǔ)。(4)在上述研究的基礎(chǔ)上設(shè)計(jì)了一個(gè)面向DeepWeb的搜索引擎原型系統(tǒng)。本文還對文中提出的方法和技術(shù)進(jìn)行了實(shí)驗(yàn)，結(jié)果表明本文提出的方法技術(shù)是可行有效的。關(guān)鍵詞：DeepWeb，數(shù)據(jù)集成，數(shù)據(jù)抽取，聚類，搜索引擎作者：劉桂峰指導(dǎo)老師：崔志明(教授)AbstractWiththedevelopmentoftheWorldWideWebandDatabas
4、etechnology,Internetisdeepeningrapidly．LargeamountofinformationarehiddeninWebDatabases，whicharecalledDeepWeb．Userscallgetthemdynamiclybysubmiuingqueriestoqueryforms．BecauseDeepWebresourcesdistributeinmanydifferentDeepWebsites，SOitisnotconvenienttogetinformationfromDeepWeb．Ther
5、efor,manyresearchersandcompanieshadbeenresearchinghowtointegrateDeepWebresourcesintoonesystem．ThisthesisresearchesonDeepWeborienteddataextractionandintegrationtechnology，proposescorrespondingalgorithmsandsolutions，andthendesignsaDeepWeborientedprototypesearchengineinthelastmai
6、nsection．Themainworkofthisthesisissummarizedasfollowings：(1)ExtractingWebDataObjectsfromresultpagesofqueriesisthefirststepofDeepWebintegration．ThisthesisproposesallautomaticmethodofWebDataObjectextractionbasedonDOM，whichidentifiestheDataRegionsandWebDataObjectsbyfollowingsteps
7、：preprocessingtheHTMLpages，extractingcandidatewebdataobjectset，andrevomingobjectswhicharenotwebdataobjectfromtheset，thenWebDataObjectsCanbeextractedfromtheresultHTMLpages．(2)ProposesamethodofintegratingheterogeneousWebDataObjectswhichaleextractedfromdifferentDeepWebsites．Thism
8、ethodisbasedonvectorspacemodel．ItWasdesignedtointegratehetero
