資源描述:
《web文本信息抽取和分類的的研究論文》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、摘要伴隨著Intemet的飛速發(fā)展,Web上出現(xiàn)了海量的、異構(gòu)的、半結(jié)構(gòu)化的、動(dòng)態(tài)的信息資源,并且在這些Web信息中有80%以上的信息是以Web文本的形式存在的。如何從這些浩如煙海的Web信息資源中尋找并獲取有價(jià)值的信息和知識(shí)模式,已經(jīng)成為信息處理領(lǐng)域的一個(gè)亟待解決的問(wèn)題。Web文本分類可以有效的解決上述問(wèn)題,它起源于ATC技術(shù)(自動(dòng)文本分類技術(shù)),是Web文本挖掘的關(guān)鍵組成部分;Web文本分類可以提高用戶進(jìn)行網(wǎng)上信息搜索的效率,可以對(duì)搜索結(jié)果進(jìn)行分門(mén)別類,幫助用戶快速的對(duì)目標(biāo)知識(shí)進(jìn)行定位,并且能夠從中抽取有價(jià)值的知識(shí)。本文首先介紹了文本自動(dòng)分類的主要方法,
2、分析了WEB文檔的特點(diǎn),提出了WEB文本自動(dòng)分類所要研究的兩個(gè)技術(shù)層面:信息抽取和文本分類,研究了基于視覺(jué)的WEB文本抽取和基于支持向量機(jī)的多層次文本分類方法,并進(jìn)行了WEB文本自動(dòng)分類工具的總體設(shè)計(jì),它主要包括網(wǎng)頁(yè)采集、信息抽取、文本預(yù)處理和文本分類等功能模塊,在以上研究的基礎(chǔ)上最后提出了分類搜索引擎的設(shè)計(jì)。最后通過(guò)本文所設(shè)計(jì)的WEB文本自動(dòng)采集和分類系統(tǒng)結(jié)合SQLServer2005TextMining對(duì)本文所提出的理論方法進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)表明信息抽取比較準(zhǔn)確、分類方法有較高的準(zhǔn)確度和運(yùn)行效率。關(guān)鍵詞:網(wǎng)路蜘蛛信息抽取文本分類支持向量機(jī)分類搜索引擎ABS
3、TRACTAlongwiththerapiddevelopmentofIntemet,thereareabundant,isomeric,Semi—structuredanddynamicinformationresourcesonWeb.AmongtheseWebinformation,above80percentexistintheformofWebtext.HowtoseekandgainthevaluableinformationandknowledgemodelfromthesevastWebinformationresources,havealr
4、eadybecomethequestionurgentlyawaitedtobesolvedintheinformationprocessingdomain.ThequeStionsmentionedabovecarlberesolvedeffectivelybyWebtextclassification,whichoriginsfromATC(AutomaticTextClassification),andisthekeyconstituentofWebtextmining.Itcanclassifysearchresults,whichnotonlyen
5、hancestheefficiencyofsearchforWebusers,butalsoimprovestheabilityoflocalizationtogoalknowledge,andextractsthevaluableknowledge.Thisarticlefirstintroducedthetextclassificationmainmethod,hasanalyzedtheWEBdocumentscharacteristic,proposedtheWEBtextclassificationneedstostudytwotechnicals
6、tratificationplanes:Theinformationextractsandthetextclassification,studiedthemethodsofIEbasedonthevisionandmulti·leveltextclassificationbasedonSVM.WedesignedtheChinesewebtextcategorizationsoftwarewithwebspidermodel,Chinesewordsputtermodel,featureselectionmodelandmachinelearningmode
7、lincluded.AtlastwedrawanexperiencetotesttheaccuracyofthesemethodsusingtheClassificationSystemandSqlServer2005TextMining.Astheexperimentresultshow,thissoftwarehashighaccuracy.KeyWords:Spider;InformationExtraction;TextClassification;SVM;Classificationsearchengines創(chuàng)新點(diǎn)聲明(碩士)本人聲明所呈交的學(xué)位論
8、文是我個(gè)人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果