主題搜索引擎網(wǎng)絡(luò)爬蟲搜索策略的研究和實現(xiàn)

《主題搜索引擎網(wǎng)絡(luò)爬蟲搜索策略的研究和實現(xiàn)》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、摘要主題搜索引擎網(wǎng)絡(luò)爬蟲搜索策略的研究與實現(xiàn)主題網(wǎng)絡(luò)爬蟲是主題搜索引擎后端獲取數(shù)據(jù)的自動化代碼程序，主題搜索引擎前端查詢到的數(shù)據(jù)事先由主題網(wǎng)絡(luò)爬蟲在互聯(lián)網(wǎng)上抓取，存儲在本地。然后對網(wǎng)頁進行數(shù)據(jù)抽取，建立索引。所以主題爬蟲對于一個主題搜索引擎來說，起著支撐的作用。本文提出鏈接文本相關(guān)度算法與主題信息值遺傳恢復(fù)的算法相結(jié)合的主題優(yōu)先抓取算法來指引爬蟲抓取方向，并使用postgresql數(shù)據(jù)庫集群技術(shù)存儲數(shù)據(jù)。主題優(yōu)先抓取算法根據(jù)網(wǎng)絡(luò)頁面結(jié)構(gòu)的特點，通過頁面之間的主題傳遞來預(yù)測頁面主題相關(guān)性，解決了主題爬蟲通道堵塞，抓取遺漏

2、的問題。首先根據(jù)錨文本傳遞一個相關(guān)性信息值，如果錨文本給出的信息是相關(guān)，相關(guān)閥值就直接傳遞；如果是不相關(guān)，就乘以遺傳基因比例之后傳遞。傳遞的過程中如果遇到相關(guān)的網(wǎng)頁就恢復(fù)鏈接的相關(guān)性信息值到初始值。相關(guān)性信息值將互聯(lián)網(wǎng)網(wǎng)頁以主題的不同分割在不同的通道內(nèi)，所有與主題相關(guān)的網(wǎng)頁都在最大通道內(nèi)，各個通道交錯相連，爬蟲按通道的大小順序抓取。爬蟲要抓取的網(wǎng)頁信息量龐大，單臺主機不能滿足這些信息的存儲。本文在資源庫以及鏈接地址庫都采用postgresql數(shù)據(jù)庫集群技術(shù)，擴大后臺存儲容量。并且在各個數(shù)據(jù)庫點中使用pgbouncer連

3、接池技術(shù)，減少數(shù)據(jù)庫連接次數(shù)，爭取時間。在鏈接地址庫中采用緩存技術(shù)北京化工大學(xué)碩上學(xué)位論文減少數(shù)據(jù)庫操作次數(shù)，減少消耗時間，提高爬蟲工作速度。最后通過實驗測試，分析數(shù)據(jù)，驗證了基于主題優(yōu)先抓取技術(shù)的有效性及postgresql數(shù)據(jù)庫集群技術(shù)的爬蟲系統(tǒng)的可行性。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲，搜索引擎，postgresql，數(shù)據(jù)庫集群，主題相關(guān)IIResearchandAchievementoftheSearchStrategicforthetopicsearchenginespiderABSTRACTTopicspiderisall

4、automaticprogramwhichisusedtogetd．a(chǎn)tafromwebinthebackendoftopicsearchengine．Thedatainquiredinthefrontendoftopicsearchengineissnatchedfrominternetnetbyspiderfirstly,andthentheyarestoredinlocaldisks．Finally,thedataisextractedfromcyberpageandindexed．．Asaresult，weCa

5、llsaythatatopicsearchengineissupportedbytopicspider．Thispaperproposesanalgorithmoftopicpfiofitysnatchingwhichisbasedonthecombinationoflinkingtextrelevancealgorithmandtopicmessageinheritancerenewingalgorithm．Thisalgorithmconductsthedirectionofspiderandstoragesdat

6、abymeansofpostgresqldatabasecluster．Accordingtothecharacteristicsofthecyberpagestructure，thealgorithmoftopicprioritysnatchingsolvestheproblemofchanneljammingandomitsofcapturebypredictingthecorrelativitythroughdeliveringthethemeamongthepages．Firstly,acorrelativei

7、nformationvalueisdeliveredaccordingtotheanchortext．Iftheinformationgivenbytheanchortextiscorrelated，thecorrelativethresholdwillbedelivereddirectly．OtherwiseitwillbemultipliedbythegeneticratiobeforeIII北京化工大學(xué)碩：I：學(xué)位論文delivery．Intheprocessofdelivery,correlativeinfor

8、mationvaluemayberesettotheinitialvalueifitencountersthecorrelativewebpage．Relevancemessagesseparatesthewebofdifferenttopicsintodifferentchannels．Allofwebsthatalerelat