資源描述：
《面向主題的輿情采集搜索爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、山東大學(xué)碩士學(xué)位論文面向主題的輿情采集搜索爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)姓名：李玉華申請(qǐng)學(xué)位級(jí)別：碩士專業(yè)：計(jì)算機(jī)技術(shù)指導(dǎo)教師：王海洋;朱友芹20090405山東大學(xué)碩士學(xué)位論文摘要針對(duì)目前通用搜索引擎所搜索到的結(jié)果過(guò)多，與主題相關(guān)性不強(qiáng)的情況，提出了面向主題的搜索引擎，以輿情信息為核心研究和設(shè)計(jì)了主題搜索爬蟲(chóng)，為進(jìn)行主題搜索引擎的研究奠定了良好的基礎(chǔ)。本文首先介紹了面向主題搜索引擎的背景，然后對(duì)主題輿情搜索引擎的需求進(jìn)行了分析，在這基礎(chǔ)上對(duì)系統(tǒng)進(jìn)行了概要設(shè)計(jì)和詳細(xì)設(shè)計(jì)，最后就系統(tǒng)實(shí)現(xiàn)和測(cè)試進(jìn)行了一些探討。作為一個(gè)面向主題的輿情
2、采集搜索爬蟲(chóng)，系統(tǒng)實(shí)現(xiàn)了一個(gè)基于Boltzmann行動(dòng)選擇策略的具有在線增量自學(xué)習(xí)能力的面向主題搜索爬蟲(chóng)的原型，通過(guò)控制網(wǎng)絡(luò)蜘蛛的貪婪程度，基于Boltzmann行動(dòng)選擇策略進(jìn)行爬行。本文引入網(wǎng)頁(yè)信噪比的概念，并通過(guò)它衡量網(wǎng)頁(yè)里關(guān)鍵詞的信息是否超過(guò)一定的閾值，從而判斷網(wǎng)頁(yè)是否屬于所要搜索的主題網(wǎng)頁(yè)，來(lái)調(diào)整網(wǎng)頁(yè)搜索的優(yōu)先級(jí)。在此基礎(chǔ)上，面向主題搜索爬蟲(chóng)引入在爬行過(guò)程中自動(dòng)更新學(xué)習(xí)模型，當(dāng)?shù)玫街黝}相關(guān)頁(yè)面時(shí)產(chǎn)生回報(bào)，將回報(bào)沿鏈接鏈路反饋，更新鏈路上所有鏈接的Q值。通過(guò)這樣，避免了網(wǎng)絡(luò)蜘蛛過(guò)早陷入W曲搜索空間中局部最優(yōu)子
3、空間的陷阱，同時(shí)能準(zhǔn)確識(shí)別頁(yè)面的主題相關(guān)性，具有很好的自學(xué)習(xí)能力。同時(shí)可以根據(jù)鏈接優(yōu)先權(quán)隊(duì)列中鏈接的價(jià)值大小比較網(wǎng)頁(yè)搜索的優(yōu)先級(jí)?；谝陨涎芯浚疚脑O(shè)計(jì)并部分實(shí)現(xiàn)了面向主題搜索爬蟲(chóng)，并通過(guò)實(shí)驗(yàn)與其它搜索策略進(jìn)行比較，證實(shí)本文提出的算法在查全率與查準(zhǔn)率兩方面都有一定的優(yōu)越性，在尋找最優(yōu)行動(dòng)選擇序列方面具有優(yōu)勢(shì)。但是，如何完善目前網(wǎng)頁(yè)的權(quán)值判斷機(jī)制，使網(wǎng)絡(luò)鏈接價(jià)值的計(jì)算更精確，使搜索爬蟲(chóng)更加智能化，需要以后進(jìn)一步研究。關(guān)鍵詞：面向主題：輿情采集；搜索爬蟲(chóng)：BoItzmann；增量自學(xué)習(xí)山東大學(xué)碩士學(xué)位論文ABSTRAC
4、TInthemodeminformationage，theamountofinformationgrowsexplosivelyeveryday．IthasbecomeahottopiconhowtOacquirehigh-qualityinformation．AIntemetsearchengineiscommonplacenow,buttherearerelativelyfewtopic—orientedsearchenginesinapplication．Totackletheissue、jvi也having
5、toomanysearchresultsandtherelevanceisgenerallytoolowintheresultsusingthecommonsearchengines，thisarticleraisedtheconceptofatopic—orientedsearchengine，anddiscusseddinvolvesthedesignandimplementationofatopic-orientedcrawlingmechanism,whichfocusedonrelevancetothet
6、opictobesearched、Ⅳit}1．Thishaslaidasolidfoundationforfurtherresearchesontopic—orientedsearchengines．Thisarticlediscussedthedesignandimplementationofatopic-orientedcrawlercapableofonlineincrementalself-learning，basedontheBoltzmannaction-selectionstrategy．Throug
7、hcontrollingthegreedyscaleofthespider,basedontheBoltzmannaction—selectstrateg．Theconceptofthewebpagesignal-noiseratiowasintroduced,throughwhichtheinformationrelatedtothekeywordssearchedCanbeevaluatedagainstacertainthreshold,thusdecidingwhetherornotthesaidwebpa
8、geisinthesearchcategory．FurthermorethepriorityofthesearchresultsCallbeadjusted，Basedonthisconcept,themodelofaself-learningduringcrawlingwasintroducedintothetopicorientedcrawler,and
