資源描述:
《web頁面細粒度數(shù)據(jù)抽取方法研究》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在學術(shù)論文-天天文庫。
1、2014年2月計算機工程與設(shè)計Feb.2014第35卷第2期COMPUTERENGINEERINGANDDESIGNVo1.35No.2Web頁面細粒度數(shù)據(jù)抽取方法研究王旭仁,楊碩,何發(fā)鎂,王彥麗,張為群。(1.首都師范大學信息工程學院,北京100048;2.北京理工大學圖書館,北京100081;3.西南大學計算機與信息科學學院,重慶400715)摘要:盡管有很多方法用于Web頁面信息抽取,對細粒度信息如數(shù)據(jù)項等的抽取需求仍然很迫切。提出了一個用于結(jié)構(gòu)化數(shù)據(jù)抽取的解決方案,將Web頁面上的信息以更細的粒度抽取出來。對包裝器(wrapper)生成時所依據(jù)的信息進行了基于穩(wěn)定性的分
2、類,實現(xiàn)了模板和種子之間多對多的自動關(guān)聯(lián)(automaticallycorrelating),并按照信息穩(wěn)定性的高低為每個字段生成多個抽取規(guī)則,在抽取信息時根據(jù)多個抽取規(guī)則進行抽取,只有在所有規(guī)則失效時才會導(dǎo)致抽取失敗,提高了抽取系統(tǒng)的魯棒性。實驗結(jié)果表明,該方法具有良好的抽取功率和準確率。關(guān)鍵詞:信息抽??;web挖掘;包裝器;自動關(guān)聯(lián)中圖法分類號:TP391.3文獻標識號:A文章編號:1000—7024(2014)02—0700—05Researchoffiner—grainedWebinformationextractionmethodWANGXu-ren,YANGShuo
3、,HEFa-mei,WANGYan-li,ZHANGWei—qun。(1.InformationEngineeringCollege,CapitalNormalUniversity,Beijing100048,China;2.Library,BeijingInstituteofTechnology,Beijing100081,China;3.ComputerScienceCollege,SouthwestUniversity,Chongqing400715,China)Abstract:Althoughtherearemanyapproachesfordataextractio
4、nfromwebpages,demandforfiner-grainedinformation,suchasiteminformation,isstillurgingespeciallyinorienteddomainsapplications.Asolutionisproposedforstructureddataextrac—tionfromwebpages.Systemcharacteristicsareinthefollowingaspects:generatingthewrapperonthebasisofinformationbasedOl3.stabilitycl
5、assification.Thetemplatesandtheseedsofthemany-to-manyrelationshipsinautomaticwayarerealized。AccordingtOtheinformationstabilitylevelforeachfield,multipleextractionrulesaregenerated.Onlywhenallrulesfail,itisregardedasextractionfailure.Allabovefeaturesimproveextractionsystemrobustness.Experimen
6、talresultsshowthatthemethodhasgoodextractionsuccessfulrateandaccuraterate.Keywords:informationextraction;Webdatamining;wrapper;automaticallycorrelating些系統(tǒng)_7,印只能區(qū)分Web頁面中的記錄或者抽取到記錄的0引言內(nèi)容,沒有對記錄(records)包含內(nèi)容中更小信息單位Web數(shù)據(jù)挖掘[1]重要的基礎(chǔ)研究內(nèi)容之一是Web頁面一字段/數(shù)據(jù)項(items)作進一步分析,抽取的信息粒度數(shù)據(jù)抽取,目前已經(jīng)有一些Web數(shù)據(jù)自動抽取方法¨2]和
7、比較粗,不能適應(yīng)對字段分析要求較高的領(lǐng)域應(yīng)用需要,系統(tǒng)_4如Omini,RoadRunner,IEPAD,MDR,DEPAT例如機票搜索、房產(chǎn)信息查詢等廣泛行業(yè)應(yīng)用。等¨5]。文獻[6]提出了一種基于隱馬爾可夫模型的中文科以當下熱門的房產(chǎn)數(shù)據(jù)搜索為研究對象,抽取Web字研論文頭部信息和引文信息抽取算法,僅在局部進行歸一段級的數(shù)據(jù),實現(xiàn)細粒度、穩(wěn)定性好的Web數(shù)據(jù)抽取方化處理。文獻[7]采用條件隨機場(conditionalrandom法。對來自不同房產(chǎn)網(wǎng)站的大量頁面進行觀察分析后發(fā)現(xiàn):fie