基于廣度優(yōu)先算法的多線程網(wǎng)絡(luò)爬蟲學(xué)位論文.doc

基于廣度優(yōu)先算法的多線程網(wǎng)絡(luò)爬蟲學(xué)位論文.doc

ID:11389183

大小:1.21 MB

頁數(shù):0頁

時間:2018-07-11

基于廣度優(yōu)先算法的多線程網(wǎng)絡(luò)爬蟲學(xué)位論文.doc_第頁
預(yù)覽圖正在加載中,預(yù)計需要20秒,請耐心等待
資源描述:

《基于廣度優(yōu)先算法的多線程網(wǎng)絡(luò)爬蟲學(xué)位論文.doc》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫

1、沈陽理工大學(xué)學(xué)士學(xué)位論文摘要目前即使通訊軟件在平時的生活中有著十分廣泛的應(yīng)用,但是對絕大部分的軟件來說,都必須應(yīng)用在互聯(lián)網(wǎng)上,必須在一個INTERNET環(huán)境下才能使用。有時候單位內(nèi)部的員工,同學(xué),在沒有互聯(lián)網(wǎng)環(huán)境下或因其他原因希望不用INTERNET就可以進行信息交互,這樣開發(fā)局域網(wǎng)通信就有了必要性。本文提出了局域網(wǎng)信息交互的需求,并詳細對網(wǎng)絡(luò)協(xié)議TCP/IP協(xié)議族進行了介紹和研究,如TCP,UDP,廣播等相關(guān)技術(shù)。并對網(wǎng)絡(luò)信息交互原理驚醒了說明,在此基礎(chǔ)上利用SOCKET網(wǎng)絡(luò)編程實現(xiàn)了一種基于WINDOWS平臺的局域網(wǎng)信息交互功

2、能。網(wǎng)絡(luò)爬蟲是一種自動搜集互聯(lián)網(wǎng)信息的程序。通過網(wǎng)絡(luò)爬蟲不僅能夠為搜索引擎采集網(wǎng)絡(luò)信息,而且可以作為定向信息采集器,定向采集某些網(wǎng)站下的特定信息,如招聘信息,租房信息等。本文通過JAVA實現(xiàn)了一個基于廣度優(yōu)先算法的多線程爬蟲程序。為何要使用多線程,以及如何實現(xiàn)多線程;系統(tǒng)實現(xiàn)過程中的數(shù)據(jù)存儲;網(wǎng)頁信息解析等。通過實現(xiàn)這一爬蟲程序,可以搜集某一站點的URLs,并將搜集到的URLs存入數(shù)據(jù)庫。將解析的網(wǎng)頁存入XML文檔?!娟P(guān)鍵詞】網(wǎng)絡(luò)爬蟲;SOCKET編程;TCP/IP;網(wǎng)絡(luò)編程;JAVAII沈陽理工大學(xué)學(xué)士學(xué)位論文AbstractI

3、nstantmessagesoftwareinourdailyliveshasaverywiderangeofapplication,However,mostofthesoftwaremustbeusedintheInternet,anditmustbeusedinaInternetenvironment.SometimesInternalstaff,students,maynothavetheInternetenvironmentorotherreasonsdonotwishtobeabletocommunicateontheI

4、nternet.ThisdevelopmentwillhaveaneedforLANcommunicationprogram.Therefore,thispaperpresentstheneedsoflocalareanetworkexchangeinformationSoftware,AnddetailsofthenetworkprotocolTCP/IPprotocolsuiteareintroducedandresearchsuchasTCP,UDP,broadcast,andothertechnologies.andnet

5、workinformationexchangetheoryisdiscussed.BaseonthisconditionIuseofSocketNetworkprogrammingbasedonWindowsplatformtodevelopaLANchatapplication.SPIDERisaprogramwhichcanautocollectinformationsfrominternet.SPIDERcancollectdataforsearchengines,alsocanbeaDirectionalinformati

6、oncollector,collectsspecificallyinformationsfromsomewebsites,suchasHRinformations,houserentinformations.Inthispaper,useJAVAimplementsabreadth-firstalgorithmmulti-threadSPDIER.ThispaperexpatiatessomemajorproblemsofSPIDER:whytousemulti-threading,andhowtoimplementmulti-t

7、hread;datastructure;HTMLcodeparse.etc.ThisSPIDERcancollectURLsfromonewebsite,andstoreURLsintodatabase.【KEYWORD】SPIDER;JAVA;;Socketprogramming;TCP/IP;NetworkprogrammingII沈陽理工大學(xué)學(xué)士學(xué)位論文目錄1緒論11.1網(wǎng)絡(luò)爬蟲的發(fā)展11.2國內(nèi)外技術(shù)發(fā)展現(xiàn)狀21.3系統(tǒng)設(shè)計的意義32總體設(shè)計方案42.1系統(tǒng)設(shè)計方案42.2系統(tǒng)設(shè)計框圖42.3網(wǎng)絡(luò)爬蟲的相關(guān)技術(shù)52.3.1

8、URL52.3.2HTTP協(xié)議62.3.3JAVA多線程92.3.4JAVA網(wǎng)絡(luò)編程163系統(tǒng)軟件設(shè)計213.1系統(tǒng)軟件概述213.2Eclipse軟件介紹213.3服務(wù)器端設(shè)計223.3.1網(wǎng)本頁解析部分223.3.2獲取新的網(wǎng)絡(luò)代理部分363.

當前文檔最多預(yù)覽五頁,下載文檔查看全文

此文檔下載收益歸作者所有

當前文檔最多預(yù)覽五頁,下載文檔查看全文
溫馨提示:
1. 部分包含數(shù)學(xué)公式或PPT動畫的文件,查看預(yù)覽時可能會顯示錯亂或異常,文件下載后無此問題,請放心下載。
2. 本文檔由用戶上傳,版權(quán)歸屬用戶,天天文庫負責(zé)整理代發(fā)布。如果您對本文檔版權(quán)有爭議請及時聯(lián)系客服。
3. 下載前請仔細閱讀文檔內(nèi)容,確認文檔內(nèi)容符合您的需求后進行下載,若出現(xiàn)內(nèi)容與標題不符可向本站投訴處理。
4. 下載文檔時可能由于網(wǎng)絡(luò)波動等原因無法下載或下載錯誤,付費完成后未能成功下載的用戶請聯(lián)系客服處理。