資源描述:
《deep web數(shù)據(jù)抽取及語義標注研究》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、河北大學(xué)碩士學(xué)位論文DeepWeb數(shù)據(jù)抽取及語義標注研究姓名:魏勇剛申請學(xué)位級別:碩士專業(yè):計算機應(yīng)用技術(shù)指導(dǎo)教師:袁方20090501摘要隨著計算機和網(wǎng)絡(luò)技術(shù)的快速發(fā)展,互聯(lián)網(wǎng)在人們的日常生活中發(fā)揮著越來越重要的作用。信息檢索作為互聯(lián)網(wǎng)應(yīng)用的重要組成部分,是用戶獲取信息的主要方法。目前,信息檢索一般通過搜索引擎完成。由于技術(shù)原因,傳統(tǒng)的搜索引擎只能發(fā)現(xiàn)靜態(tài)網(wǎng)頁內(nèi)容,而無法獲取Web數(shù)據(jù)庫中的信息。如何能夠充分利用Web數(shù)據(jù)庫中豐富的資源,成為一個值得研究的問題。存儲在W曲數(shù)據(jù)庫中、不能通過超鏈接訪問的資源集合被稱為Deepw曲。為自動獲取De
2、epWeb背后眾多Web數(shù)據(jù)庫中的資源,需要建立DeepWeb數(shù)據(jù)集成系統(tǒng),該系統(tǒng)的查詢結(jié)果處理模塊分為數(shù)據(jù)抽取和語義標注兩部分。數(shù)據(jù)抽取是指通過技術(shù)手段將Web頁面上的數(shù)據(jù)抽取出來,保存為XML文檔或關(guān)系模式,作為下一步處理的基礎(chǔ)。語義標注是指對抽取出的數(shù)據(jù)增加語義注釋,便于計算機識別與處理,從而具有更高的利用價值。本文使用Xpath技術(shù)完成DeepWreb數(shù)據(jù)抽取并提出一種基于中文詞性和領(lǐng)域知識的語義標注方法?;赬path的數(shù)據(jù)抽取方法首先將DeepWreb查詢結(jié)果頁面規(guī)范化為XML格式,然后在遍歷XML文檔的過程中確定待抽取數(shù)據(jù)路徑表達
3、式,最后根據(jù)該表達式完成數(shù)據(jù)抽取并保存為XML格式。語義標注給抽取出的數(shù)據(jù)增加語義信息。本文所述語義標注方法借助中文分詞工具得到抽取結(jié)果的詞性,并根據(jù)詞性或詞性組合與語義建立映射規(guī)則,同時結(jié)合領(lǐng)域知識進行語義標注。實驗表明,本文所述方法能夠?qū)eepWreb查詢結(jié)果準確抽取并對抽取結(jié)果進行語義標注,從而驗證了方法的有效性。關(guān)鍵詞DeepWeb數(shù)據(jù)抽取語義標注AbstractWiththerapiddevelopmentofcomputerandnetworktechnologies,Internetisplayingamoreimportant
4、roleinourdailylifetheneverbefore.AsallimportantpartoftheInternetapplications,searchingonlinehasbecomethemainwaytoobtaininformationformanypeople.Atpresent,searchingengineisthemostcommonlyusedt001.Limitedbytechnologysupports,mostmainstreamsearchenginescanonlyreturnthesurfaceof
5、staticwebs,butCannotdirectlyacquireinformationfromwebdatabase。SotheresearchonhowtoutilizetheresourcesinDeepwebismeaningful.Deepwebisdefinedastheaggregateofresourcesinwebdatabases,whichcannotbeaccessedbythehyperlink.ADeepwebdataintegrationsystemwillhastobecreatedtoobtainresou
6、rcesinDeepweb.TheDeepwebqueryresultprocessingmodelincludestwoparts:dataextractionandsemanticannotation.DataextractionisthemeansofextractinginformationinawebpagebysometechnicalmethodsandsavinginformationinXMLformatorrelationalschema,asthebasisoffurtherprocess.Andthetermsemant
7、icannotationindicatesaddingsemanticannotationontheextracteddataSOwhichwillbeeasilyrecognizedbycomputersandobtainbetterutilizationvalue.ThispaperperformedthedataextractionbyusingXpath,andthenproposedaDeepWebsemanticannotationmethodbasedonChinesepart—of-speechanddomainknowledg
8、e.InthisXpathextrationmethod,XMLstandardizationisfirstlyperformedonthesearc