deep web數(shù)據(jù)抽取和語(yǔ)義標(biāo)注技術(shù)研究

《deep web數(shù)據(jù)抽取和語(yǔ)義標(biāo)注技術(shù)研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、江蘇大學(xué)碩士學(xué)位論文DeepWeb數(shù)據(jù)抽取和語(yǔ)義標(biāo)注技術(shù)研究姓名：楊曉琴申請(qǐng)學(xué)位級(jí)別：碩士專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)指導(dǎo)教師：鞠時(shí)光20091216江蘇大學(xué)碩士學(xué)位論文摘要Web數(shù)據(jù)庫(kù)根據(jù)用戶提交的請(qǐng)求，將其內(nèi)容以HTML頁(yè)面的形式動(dòng)態(tài)呈現(xiàn)出來(lái)，這些信息稱之為DeepWeb資源。而HTML語(yǔ)言的特點(diǎn)是在Web上發(fā)布的，內(nèi)容多樣，形式各異，使得Web上的數(shù)據(jù)處于雜亂無(wú)序的狀態(tài)，給數(shù)據(jù)集成系統(tǒng)的建立造成了極大的困難。因此，需要通過(guò)各種技術(shù)手段將網(wǎng)頁(yè)中的無(wú)結(jié)構(gòu)或者半結(jié)構(gòu)化數(shù)據(jù)抽取出來(lái)。同時(shí)為了使抽取獲得的數(shù)據(jù)具有更高的

2、使用價(jià)值，這些數(shù)據(jù)應(yīng)該被應(yīng)用程序所理解，必須為其添加語(yǔ)義注釋。本文重點(diǎn)分析了DeepWeb數(shù)據(jù)抽取和語(yǔ)義標(biāo)注的已有技術(shù)，并在此基礎(chǔ)上分別提出了一種基于模板的數(shù)據(jù)抽取方法和一種基于包裝器的語(yǔ)義標(biāo)注方法，最后整合上述研究模塊，設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)面向求職領(lǐng)域的垂直搜索引擎系統(tǒng)。本文主要研究的內(nèi)容包括：(1)研究如何從一系列同模板生成的網(wǎng)頁(yè)中檢測(cè)出其背后的模板，并利用模板將嵌入的數(shù)據(jù)自動(dòng)抽取出來(lái)。給出了模板生成問(wèn)題的形式化描述，提出了一種新穎的模板生成方法，并利用生成的模板從實(shí)例網(wǎng)頁(yè)中抽取數(shù)據(jù)。與現(xiàn)有方法相比，該方法

3、能適用“列表頁(yè)面”和“詳細(xì)頁(yè)面”兩種類型網(wǎng)頁(yè)。通過(guò)在多個(gè)領(lǐng)域?qū)嵗军c(diǎn)上實(shí)驗(yàn)，說(shuō)明新方法在不降低已有方法準(zhǔn)確率的情況下能進(jìn)一步提高抽取的召回率。(2)為了準(zhǔn)確且完整地對(duì)抽取的數(shù)據(jù)進(jìn)行語(yǔ)義標(biāo)注，提出一種基于包裝器的語(yǔ)義標(biāo)注方法。該方法利用多個(gè)標(biāo)注源進(jìn)行組合標(biāo)注，有效解決了單標(biāo)注源標(biāo)注率不高問(wèn)題；同時(shí)針對(duì)標(biāo)注不完全問(wèn)題，提出了利用多個(gè)數(shù)據(jù)源的互補(bǔ)關(guān)系進(jìn)行標(biāo)注；最后生成高效率的標(biāo)注包裝江蘇大學(xué)碩士學(xué)位論文器對(duì)抽取結(jié)果自動(dòng)標(biāo)注。實(shí)驗(yàn)結(jié)果證明，該方法提高了標(biāo)注的準(zhǔn)確率和效率。(3)設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)面向求職領(lǐng)域的垂直搜索

4、引擎系統(tǒng)，并將上文提出的技術(shù)在該搜索引擎上的應(yīng)用做了分析。實(shí)際應(yīng)用表明，該系統(tǒng)可以取得較好的效果。關(guān)鍵詞：DeepWreb，數(shù)據(jù)抽取，語(yǔ)義標(biāo)注，垂直搜索，數(shù)據(jù)集成江蘇大學(xué)碩士學(xué)位論文ABSTRACTAfterreceivingtherequestsubmittedbyuser,webdatabasewillreturnqueryresultsintheformofHTMLpagesdynamically．ThewholeinformationembeddedinthesepagescalledDeepWeb

5、．TheHTMLpagesarepublishedonWebwithvariouscontentanddifferentforms，makingdataonthewebsemi．structuredorevenunstructured．Thesecharacteristicsbringgreatdifficultiestotheestablishmentofthewebintegrationsystems．Therefore，semi—structuredandunstructureddataonthewe

6、bneededtobeextractedthroughavarietyoftechnology．Meanwhile，inordertomaketheextracteddataahighervalue，semanticannotationsmustbeaddedSOthatthesedatacanbeunderstoodbyapplicationprogram．Thispaperanalyzesexistdataextractionandsemanticannotationmethods，thenpropos

7、esanewapproachofdataextractionbasedontemplateandanapproachofsemanticannotationbasedonwrapper．Finally,averticalsearchengineforjobdomainispresentedandaccomplished．Themainworksofthispaperinclude：(1)Theresearchistoautomaticallygeneratetemplatebehindthesetempla

8、te·generatedwebpagesandextractembeddeddata．Thetemplategenerationproblemisformalized．AnoveltemplategenerationmethodispresentedandthegeneratedtemplatesareusedtoextractdatafromIII江蘇大學(xué)碩士學(xué)位論文instancepages．Comparin