資源描述：
《基于廣度優(yōu)先算法的多線程網(wǎng)絡(luò)爬蟲設(shè)計》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、沈陽理工大學(xué)學(xué)士學(xué)位論文摘要目前即使通訊軟件在平時的生活中有著十分廣泛的應(yīng)用，但是對絕大部分的軟件來說，都必須應(yīng)用在互聯(lián)網(wǎng)上，必須在一個INTERNET環(huán)境下才能使用。有時候單位內(nèi)部的員工，同學(xué)，在沒有互聯(lián)網(wǎng)環(huán)境下或因其他原因希望不用INTERNET就可以進(jìn)行信息交互，這樣開發(fā)局域網(wǎng)通信就有了必要性。本文提出了局域網(wǎng)信息交互的需求，并詳細(xì)對網(wǎng)絡(luò)協(xié)議TCP/IP協(xié)議族進(jìn)行了介紹和研究，如TCP，UDP，廣播等相關(guān)技術(shù)。并對網(wǎng)絡(luò)信息交互原理驚醒了說明，在此基礎(chǔ)上利用SOCKET網(wǎng)絡(luò)編程實(shí)現(xiàn)了一種基于WINDOWS平臺的局域網(wǎng)信
2、息交互功能。網(wǎng)絡(luò)爬蟲是一種自動搜集互聯(lián)網(wǎng)信息的程序。通過網(wǎng)絡(luò)爬蟲不僅能夠?yàn)樗阉饕娌杉W(wǎng)絡(luò)信息，而且可以作為定向信息采集器，定向采集某些網(wǎng)站下的特定信息，如招聘信息，租房信息等。本文通過JAVA實(shí)現(xiàn)了一個基于廣度優(yōu)先算法的多線程爬蟲程序。為何要使用多線程，以及如何實(shí)現(xiàn)多線程；系統(tǒng)實(shí)現(xiàn)過程中的數(shù)據(jù)存儲；網(wǎng)頁信息解析等。通過實(shí)現(xiàn)這一爬蟲程序，可以搜集某一站點(diǎn)的URLs，并將搜集到的URLs存入數(shù)據(jù)庫。將解析的網(wǎng)頁存入XML文檔。【關(guān)鍵詞】網(wǎng)絡(luò)爬蟲；SOCKET編程；TCP/IP；網(wǎng)絡(luò)編程；JAVAII沈陽理工大學(xué)學(xué)士學(xué)位論文A
3、bstractInstantmessagesoftwareinourdailyliveshasaverywiderangeofapplication,However,mostofthesoftwaremustbeusedintheInternet,anditmustbeusedinaInternetenvironment.SometimesInternalstaff,students,maynothavetheInternetenvironmentorotherreasonsdonotwishtobeabletocommu
4、nicateontheInternet.ThisdevelopmentwillhaveaneedforLANcommunicationprogram.Therefore,thispaperpresentstheneedsoflocalareanetworkexchangeinformationSoftware,AnddetailsofthenetworkprotocolTCP/IPprotocolsuiteareintroducedandresearchsuchasTCP,UDP,broadcast,andothertec
5、hnologies.andnetworkinformationexchangetheoryisdiscussed.BaseonthisconditionIuseofSocketNetworkprogrammingbasedonWindowsplatformtodevelopaLANchatapplication.SPIDERisaprogramwhichcanautocollectinformationsfrominternet.SPIDERcancollectdataforsearchengines,alsocanbea
6、Directionalinformationcollector,collectsspecificallyinformationsfromsomewebsites,suchasHRinformations,houserentinformations.Inthispaper,useJAVAimplementsabreadth-firstalgorithmmulti-threadSPDIER.ThispaperexpatiatessomemajorproblemsofSPIDER:whytousemulti-threading,
7、andhowtoimplementmulti-thread;datastructure;HTMLcodeparse.etc.ThisSPIDERcancollectURLsfromonewebsite,andstoreURLsintodatabase.【KEYWORD】SPIDER;JAVA;；Socketprogramming;TCP/IP;NetworkprogrammingII沈陽理工大學(xué)學(xué)士學(xué)位論文目錄1緒論11.1網(wǎng)絡(luò)爬蟲的發(fā)展11.2國內(nèi)外技術(shù)發(fā)展現(xiàn)狀21.3系統(tǒng)設(shè)計的意義32總體設(shè)計方案42.1系統(tǒng)設(shè)計方案4
8、2.2系統(tǒng)設(shè)計框圖42.3網(wǎng)絡(luò)爬蟲的相關(guān)技術(shù)52.3.1URL52.3.2HTTP協(xié)議62.3.3JAVA多線程92.3.4JAVA網(wǎng)絡(luò)編程163系統(tǒng)軟件設(shè)計213.1系統(tǒng)軟件概述213.2Eclipse軟件介紹213.3服務(wù)器端設(shè)計223.3.1網(wǎng)本頁解析部分223.3.2獲取新的網(wǎng)絡(luò)代理部分363.
