網(wǎng)絡(luò)爬蟲-網(wǎng)頁(yè)蜘蛛

《網(wǎng)絡(luò)爬蟲-網(wǎng)頁(yè)蜘蛛》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、網(wǎng)絡(luò)爬蟲百科名片??網(wǎng)絡(luò)爬蟲網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁(yè)追逐者），是一種按照一定的規(guī)則，自動(dòng)的抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻，自動(dòng)索引，模擬程序或者蠕蟲。目錄概述爬蟲技術(shù)研究綜述網(wǎng)頁(yè)搜索策略1.廣度優(yōu)先搜索策略2.最佳優(yōu)先搜索策略網(wǎng)頁(yè)分析算法1.基于網(wǎng)絡(luò)拓?fù)涞姆治鏊惴?.基于網(wǎng)頁(yè)內(nèi)容的網(wǎng)頁(yè)分析算法補(bǔ)充概述爬蟲技術(shù)研究綜述網(wǎng)頁(yè)搜索策略1.廣度優(yōu)先搜索策略2.最佳優(yōu)先搜索策略網(wǎng)頁(yè)分析算法1.基于網(wǎng)絡(luò)拓?fù)涞姆治鏊惴?.基于網(wǎng)頁(yè)內(nèi)容的網(wǎng)頁(yè)分析算法補(bǔ)充展開編輯本段概述　　引言　　隨

2、著網(wǎng)絡(luò)的迅速發(fā)展，萬維網(wǎng)成為大量信息的載體，如何有效地提取并利用這些信息成為一個(gè)巨大的挑戰(zhàn)。搜索引擎(SearchEngine)，例如傳統(tǒng)的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個(gè)輔助人們檢索信息的工具成為用戶訪問萬維網(wǎng)的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性，如：　　(1)不同領(lǐng)域、不同背景的用戶往往具有不同的檢索目的和需求，通用搜索引擎所返回的結(jié)果包含大量用戶不關(guān)心的網(wǎng)頁(yè)?！　?2)通用搜索引擎的目標(biāo)是盡可能大的網(wǎng)絡(luò)覆蓋率，有限的搜索引擎服務(wù)器資源與無限的網(wǎng)絡(luò)數(shù)據(jù)資源之間的矛盾將進(jìn)一步加深?！　?

3、3)萬維網(wǎng)數(shù)據(jù)形式的豐富和網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，圖片、數(shù)據(jù)庫(kù)、音頻/視頻多媒體等不同數(shù)據(jù)大量出現(xiàn)，通用搜索引擎往往對(duì)這些信息含量密集且具有一定結(jié)構(gòu)的數(shù)據(jù)無能為力，不能很好地發(fā)現(xiàn)和獲取?！　?4)通用搜索引擎大多提供基于關(guān)鍵字的檢索，難以支持根據(jù)語(yǔ)義信息提出的查詢。　　為了解決上述問題，定向抓取相關(guān)網(wǎng)頁(yè)資源的聚焦爬蟲應(yīng)運(yùn)而生。聚焦爬蟲是一個(gè)自動(dòng)下載網(wǎng)頁(yè)的程序，它根據(jù)既定的抓取目標(biāo)，有選擇的訪問萬維網(wǎng)上的網(wǎng)頁(yè)與相關(guān)的鏈接，獲取所需要的信息。與通用爬蟲(general?purposewebcrawler)不同，聚焦爬蟲并不追求大的覆蓋，而將目標(biāo)定為抓取與某

4、一特定主題內(nèi)容相關(guān)的網(wǎng)頁(yè)，為面向主題的用戶查詢準(zhǔn)備數(shù)據(jù)資源?！　?聚焦爬蟲工作原理及關(guān)鍵技術(shù)概述　　網(wǎng)絡(luò)爬蟲是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎的重要組成。傳統(tǒng)爬蟲從一個(gè)或若干初始網(wǎng)頁(yè)的URL開始，獲得初始網(wǎng)頁(yè)上的URL，在抓取網(wǎng)頁(yè)的過程中，不斷從當(dāng)前頁(yè)面上抽取新的URL放入隊(duì)列,直到滿足系統(tǒng)的一定停止條件，如圖1(a)流程圖所示。聚焦爬蟲的工作流程較為復(fù)雜，需要根據(jù)一定的網(wǎng)頁(yè)分析算法過濾與主題無關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊(duì)列。然后，它將根據(jù)一定的搜索策略從隊(duì)列中選擇下一步要抓取的網(wǎng)頁(yè)URL，

5、并重復(fù)上述過程，直到達(dá)到系統(tǒng)的某一條件時(shí)停止，如圖1(b)所示。另外，所有被爬蟲抓取的網(wǎng)頁(yè)將會(huì)被系統(tǒng)存貯，進(jìn)行一定的分析、過濾，并建立索引，以便之后的查詢和檢索；對(duì)于聚焦爬蟲來說，這一過程所得到的分析結(jié)果還可能對(duì)以后的抓取過程給出反饋和指導(dǎo)?！　∠鄬?duì)于通用網(wǎng)絡(luò)爬蟲，聚焦爬蟲還需要解決三個(gè)主要問題：　　(1)對(duì)抓取目標(biāo)的描述或定義；　　(2)對(duì)網(wǎng)頁(yè)或數(shù)據(jù)的分析與過濾；　　(3)對(duì)URL的搜索策略?！　∽ト∧繕?biāo)的描述和定義是決定網(wǎng)頁(yè)分析算法與URL搜索策略如何制訂的基礎(chǔ)。而網(wǎng)頁(yè)分析算法和候選URL排序算法是決定搜索引擎所提供的服務(wù)形式和爬蟲網(wǎng)頁(yè)抓取行為

6、的關(guān)鍵所在。這兩個(gè)部分的算法又是緊密相關(guān)的。　　2抓取目標(biāo)描述　　現(xiàn)有聚焦爬蟲對(duì)抓取目標(biāo)的描述可分為基于目標(biāo)網(wǎng)頁(yè)特征、基于目標(biāo)數(shù)據(jù)模式和基于領(lǐng)域概念3種。?　　基于目標(biāo)網(wǎng)頁(yè)特征的爬蟲所抓取、存儲(chǔ)并索引的對(duì)象一般為網(wǎng)站或網(wǎng)頁(yè)。根據(jù)種子樣本獲取方式可分為：　?。?）預(yù)先給定的初始抓取種子樣本；　?。?）預(yù)先給定的網(wǎng)頁(yè)分類目錄和與分類目錄對(duì)應(yīng)的種子樣本，如Yahoo!分類結(jié)構(gòu)等；　?。?）通過用戶行為確定的抓取目標(biāo)樣例，分為：　　a)用戶瀏覽過程中顯示標(biāo)注的抓取樣本；　　b)通過用戶日志挖掘得到訪問模式及相關(guān)樣本?！　∑渲?，網(wǎng)頁(yè)特征可以是網(wǎng)頁(yè)的內(nèi)容特征，

7、也可以是網(wǎng)頁(yè)的鏈接結(jié)構(gòu)特征，等等?！　‖F(xiàn)有的聚焦爬蟲對(duì)抓取目標(biāo)的描述或定義可以分為基于目標(biāo)網(wǎng)頁(yè)特征，基于目標(biāo)數(shù)據(jù)模式和基于領(lǐng)域概念三種。　　基于目標(biāo)網(wǎng)頁(yè)特征的爬蟲所抓取、存儲(chǔ)并索引的對(duì)象一般為網(wǎng)站或網(wǎng)頁(yè)。具體的方法根據(jù)種子樣本的獲取方式可以分為：（1）預(yù)先給定的初始抓取種子樣本；（2）預(yù)先給定的網(wǎng)頁(yè)分類目錄和與分類目錄對(duì)應(yīng)的種子樣本，如Yahoo!分類結(jié)構(gòu)等；（3）通過用戶行為確定的抓取目標(biāo)樣例。其中，網(wǎng)頁(yè)特征可以是網(wǎng)頁(yè)的內(nèi)容特征，也可以是網(wǎng)頁(yè)的鏈接結(jié)構(gòu)特征，等等。　　作者：齊保元2006-1-1010:11編輯本段爬蟲技術(shù)研究綜述　　基于目標(biāo)數(shù)據(jù)

8、模式的爬蟲針對(duì)的是網(wǎng)頁(yè)上的數(shù)據(jù)，所抓取的數(shù)據(jù)一般要符合一定的模式，或者可以轉(zhuǎn)化或映射為目標(biāo)數(shù)據(jù)模式?！　×硪环N描述方式是建