主題搜索引擎網(wǎng)絡(luò)爬蟲(chóng)搜索策略的研究與實(shí)現(xiàn)

《主題搜索引擎網(wǎng)絡(luò)爬蟲(chóng)搜索策略的研究與實(shí)現(xiàn)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、北京化工大學(xué)碩士學(xué)位論文主題搜索引擎網(wǎng)絡(luò)爬蟲(chóng)搜索策略的研究與實(shí)現(xiàn)姓名：夏亮申請(qǐng)學(xué)位級(jí)別：碩士專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)指導(dǎo)教師：許南山20100527摘要主題搜索引擎網(wǎng)絡(luò)爬蟲(chóng)搜索策略的研究與實(shí)現(xiàn)主題網(wǎng)絡(luò)爬蟲(chóng)是主題搜索引擎后端獲取數(shù)據(jù)的自動(dòng)化代碼程序，主題搜索引擎前端查詢到的數(shù)據(jù)事先由主題網(wǎng)絡(luò)爬蟲(chóng)在互聯(lián)網(wǎng)上抓取，存儲(chǔ)在本地。然后對(duì)網(wǎng)頁(yè)進(jìn)行數(shù)據(jù)抽取，建立索引。所以主題爬蟲(chóng)對(duì)于一個(gè)主題搜索引擎來(lái)說(shuō)，起著支撐的作用。本文提出鏈接文本相關(guān)度算法與主題信息值遺傳恢復(fù)的算法相結(jié)合的主題優(yōu)先抓取算法來(lái)指引爬蟲(chóng)抓取方向，并使用postgresql數(shù)據(jù)庫(kù)集群技術(shù)存儲(chǔ)數(shù)據(jù)。主題優(yōu)先抓取算法根據(jù)網(wǎng)絡(luò)頁(yè)面結(jié)構(gòu)的特點(diǎn)，通過(guò)頁(yè)

2、面之間的主題傳遞來(lái)預(yù)測(cè)頁(yè)面主題相關(guān)性，解決了主題爬蟲(chóng)通道堵塞，抓取遺漏的問(wèn)題。首先根據(jù)錨文本傳遞一個(gè)相關(guān)性信息值，如果錨文本給出的信息是相關(guān)，相關(guān)閥值就直接傳遞；如果是不相關(guān)，就乘以遺傳基因比例之后傳遞。傳遞的過(guò)程中如果遇到相關(guān)的網(wǎng)頁(yè)就恢復(fù)鏈接的相關(guān)性信息值到初始值。相關(guān)性信息值將互聯(lián)網(wǎng)網(wǎng)頁(yè)以主題的不同分割在不同的通道內(nèi)，所有與主題相關(guān)的網(wǎng)頁(yè)都在最大通道內(nèi)，各個(gè)通道交錯(cuò)相連，爬蟲(chóng)按通道的大小順序抓取。爬蟲(chóng)要抓取的網(wǎng)頁(yè)信息量龐大，單臺(tái)主機(jī)不能滿足這些信息的存儲(chǔ)。本文在資源庫(kù)以及鏈接地址庫(kù)都采用postgresql數(shù)據(jù)庫(kù)集群技術(shù)，擴(kuò)大后臺(tái)存儲(chǔ)容量。并且在各個(gè)數(shù)據(jù)庫(kù)點(diǎn)中使用pgbouncer連接池

3、技術(shù)，減少數(shù)據(jù)庫(kù)連接次數(shù)，爭(zhēng)取時(shí)間。在鏈接地址庫(kù)中采用緩存技術(shù)北京化工大學(xué)碩上學(xué)位論文減少數(shù)據(jù)庫(kù)操作次數(shù)，減少消耗時(shí)間，提高爬蟲(chóng)工作速度。最后通過(guò)實(shí)驗(yàn)測(cè)試，分析數(shù)據(jù)，驗(yàn)證了基于主題優(yōu)先抓取技術(shù)的有效性及postgresql數(shù)據(jù)庫(kù)集群技術(shù)的爬蟲(chóng)系統(tǒng)的可行性。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng)，搜索引擎，postgresql，數(shù)據(jù)庫(kù)集群，主題相關(guān)IIResearchandAchievementoftheSearchStrategicforthetopicsearchenginespiderABSTRACTTopicspiderisallautomaticprogramwhichisusedtogetd．a(chǎn)tafr

4、omwebinthebackendoftopicsearchengine．Thedatainquiredinthefrontendoftopicsearchengineissnatchedfrominternetnetbyspiderfirstly,andthentheyarestoredinlocaldisks．Finally,thedataisextractedfromcyberpageandindexed．．Asaresult，weCallsaythatatopicsearchengineissupportedbytopicspider．Thispaperproposesanalgor

5、ithmoftopicpfiofitysnatchingwhichisbasedonthecombinationoflinkingtextrelevancealgorithmandtopicmessageinheritancerenewingalgorithm．Thisalgorithmconductsthedirectionofspiderandstoragesdatabymeansofpostgresqldatabasecluster．Accordingtothecharacteristicsofthecyberpagestructure，thealgorithmoftopicprior

6、itysnatchingsolvestheproblemofchanneljammingandomitsofcapturebypredictingthecorrelativitythroughdeliveringthethemeamongthepages．Firstly,acorrelativeinformationvalueisdeliveredaccordingtotheanchortext．Iftheinformationgivenbytheanchortextiscorrelated，thecorrelativethresholdwillbedelivereddirectly．Oth

7、erwiseitwillbemultipliedbythegeneticratiobeforeIII北京化工大學(xué)碩：I：學(xué)位論文delivery．Intheprocessofdelivery,correlativeinformationvaluemayberesettotheinitialvalueifitencountersthecorrelativewebpage．Relevancemessagessep