網(wǎng)絡(luò)爬蟲java實(shí)現(xiàn)原理

《網(wǎng)絡(luò)爬蟲java實(shí)現(xiàn)原理》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、網(wǎng)絡(luò)爬蟲（Spider）Java實(shí)現(xiàn)原理收藏?“網(wǎng)絡(luò)蜘蛛”或者說(shuō)“網(wǎng)絡(luò)爬蟲”，是一種能訪問(wèn)網(wǎng)站并跟蹤鏈接的程序，通過(guò)它，可快速地畫出一個(gè)網(wǎng)站所包含的網(wǎng)頁(yè)地圖信息。本文主要講述如何使用Java編程來(lái)構(gòu)建一個(gè)“蜘蛛”，我們會(huì)先以一個(gè)可復(fù)用的蜘蛛類包裝一個(gè)基本的“蜘蛛”，并在示例程序中演示如何創(chuàng)建一個(gè)特定的“蜘蛛”來(lái)掃描相關(guān)網(wǎng)站并找出死鏈接。Java語(yǔ)言在此非常適合構(gòu)建一個(gè)“蜘蛛”程序，其內(nèi)建了對(duì)HTTP協(xié)議的支持，通過(guò)它可以傳輸大部分的網(wǎng)頁(yè)信息；其還內(nèi)建了一個(gè)HTML解析器，正是這兩個(gè)原因使Java語(yǔ)言成為本文構(gòu)建“蜘蛛”程序的首選。文章后面例1的示例程序，將會(huì)掃

2、描一個(gè)網(wǎng)站，并尋找死鏈接。使用這個(gè)程序時(shí)需先輸入一個(gè)URL并單擊“Begin”按鈕，程序開(kāi)始之后，“Begin”按鈕會(huì)變成“Cancel”按鈕。在程序掃描網(wǎng)站期間，會(huì)在“Cancel”按鈕之下顯示進(jìn)度，且在檢查當(dāng)前網(wǎng)頁(yè)時(shí)，也會(huì)顯示相關(guān)正常鏈接與死鏈接的數(shù)目，死鏈接將顯示在程序底部的滾動(dòng)文本框中。單擊“Cancel”按鈕會(huì)停止掃描過(guò)程，之后可以輸入一個(gè)新的URL；如果期間沒(méi)有單擊“Cancel”，程序?qū)?huì)一直運(yùn)行直到查找完所有網(wǎng)頁(yè)，此后，“Cancel”按鈕會(huì)再次變回“Begin”，表示程序已停止。下面將演示示例程序是如何與可復(fù)用“Spider”類交互的，示例程

3、序包含在例1的CheckLinks類中，這個(gè)類實(shí)現(xiàn)了ISpiderReportable接口，如例2所示，正是通過(guò)這個(gè)接口，蜘蛛類才能與示例程序相交互。在這個(gè)接口中，定義了三個(gè)方法：第一個(gè)方法是“spiderFoundURL”，它在每次程序定位一個(gè)URL時(shí)被調(diào)用，如果方法返回true，表示程序應(yīng)繼續(xù)執(zhí)行下去并找出其中的鏈接；第二個(gè)方法是“spiderURLError”，它在每次程序檢測(cè)URL導(dǎo)致錯(cuò)誤時(shí)被調(diào)用（如“404頁(yè)面未找到”）；第三個(gè)方法是“spiderFoundEMail”，它在每次發(fā)現(xiàn)電子郵件地址時(shí)被調(diào)用。有了這三個(gè)方法，Spider類就能把相關(guān)信息反

4、饋給創(chuàng)建它的程序了。在begin方法被調(diào)用后，“蜘蛛”就開(kāi)始工作了；為允許程序重繪其用戶界面，“蜘蛛”是作為一個(gè)單獨(dú)的線程啟動(dòng)的。點(diǎn)擊“Begin”按鈕會(huì)開(kāi)始這個(gè)后臺(tái)線程，當(dāng)后臺(tái)線程運(yùn)行之后，又會(huì)調(diào)用“CheckLinks”類的run方法，而run方法是由Spider對(duì)象實(shí)例化時(shí)啟動(dòng)的，如下所示：spider=newSpider(this);spider.clear();base=newURL(url.getText());spider.addURL(base);spider.begin();首先，一個(gè)新的Spider對(duì)象被實(shí)例化，在此，需要傳遞一個(gè)“ISpi

5、derReportable”對(duì)象給Spider對(duì)象的構(gòu)造函數(shù)，因?yàn)椤癈heckLinks”類實(shí)現(xiàn)了“ISpiderReportable”接口，只需簡(jiǎn)單地把它作為當(dāng)前對(duì)象（可由關(guān)鍵字this表示）傳遞給構(gòu)造函數(shù)即可；其次，在程序中維護(hù)了一個(gè)其訪問(wèn)過(guò)的URL列表，而“clear”方法的調(diào)用則是為了確保程序開(kāi)始時(shí)URL列表為空，程序開(kāi)始運(yùn)行之前必須添加一個(gè)URL到它的待處理列表中，此時(shí)用戶輸入的URL則是添加到列表中的第一個(gè)，程序就由掃描這個(gè)網(wǎng)頁(yè)開(kāi)始，并找到與這個(gè)起始URL相鏈接的其他頁(yè)面；最后，調(diào)用“begin”方法開(kāi)始運(yùn)行“蜘蛛”，這個(gè)方法直到“蜘蛛”工作完畢或

6、用戶取消才會(huì)返回。當(dāng)“蜘蛛”運(yùn)行時(shí)，可以調(diào)用由“ISpiderReportable”接口實(shí)現(xiàn)的三個(gè)方法來(lái)報(bào)告程序當(dāng)前狀態(tài)，程序的大部分工作都是由“spiderFoundURL”方法來(lái)完成的，當(dāng)“蜘蛛”發(fā)現(xiàn)一個(gè)新的URL時(shí)，它首先檢查其是否有效，如果這個(gè)URL導(dǎo)致一個(gè)錯(cuò)誤，就會(huì)把它當(dāng)作一個(gè)死鏈接；如果鏈接有效，就會(huì)繼續(xù)檢查它是否在一個(gè)不同的服務(wù)器上，如果鏈接在同一服務(wù)器上，“spiderFoundURL”返回true，表示“蜘蛛”應(yīng)繼續(xù)跟蹤這個(gè)URL并找出其他鏈接，如果鏈接在另外的服務(wù)器上，就不會(huì)掃描是否還有其他鏈接，因?yàn)檫@會(huì)導(dǎo)致“蜘蛛”不斷地瀏覽Interne

7、t，尋找更多、更多的網(wǎng)站，所以，示例程序只會(huì)查找用戶指定網(wǎng)站上的鏈接。構(gòu)造Spider類前面已經(jīng)講了如何使用Spider類，請(qǐng)看例3中的代碼。使用Spider類及“ISpiderReportable”接口能方便地為某一程序添加“蜘蛛”功能，下面繼續(xù)講解Spider類是怎樣工作的。Spider類必須保持對(duì)其訪問(wèn)過(guò)的URL的跟蹤，這樣做的目的是為了確保“蜘蛛”不會(huì)訪問(wèn)同一URL一次以上；進(jìn)一步來(lái)說(shuō)，“蜘蛛”必須把URL分成三組，第一組存儲(chǔ)在“workloadWaiting”屬性中，包含了一個(gè)未處理的URL列表，“蜘蛛”要訪問(wèn)的第一個(gè)URL也存在其中；第二組存儲(chǔ)在“

8、workloadProcessed”中