資源描述：
《基于廣度優(yōu)先算法的多線程網(wǎng)絡(luò)爬蟲畢業(yè)設(shè)計》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、沈陽理工大學(xué)學(xué)士學(xué)位論文摘要目前即使通訊軟件在平時的生活中有著十分廣泛的應(yīng)用，但是對絕大部分的軟件來說，都必須應(yīng)用在互聯(lián)網(wǎng)上，必須在一個INTERNET環(huán)境下才能使用。有時候單位內(nèi)部的員工，同學(xué)，在沒有互聯(lián)網(wǎng)環(huán)境下或因其他原因希望不用INTERNET就可以進(jìn)行信息交互，這樣開發(fā)局域網(wǎng)通信就有了必要性。本文提出了局域網(wǎng)信息交互的需求，并詳細(xì)對網(wǎng)絡(luò)協(xié)議TCP/IP協(xié)議族進(jìn)行了介紹和研究，如TCP，UDP，廣播等相關(guān)技術(shù)。并對網(wǎng)絡(luò)信息交互原理驚醒了說明，在此基礎(chǔ)上利用SOCKET網(wǎng)絡(luò)編程實現(xiàn)了一種基于WINDOWS平臺的局域網(wǎng)信息交互功能。網(wǎng)絡(luò)爬蟲是一種
2、自動搜集互聯(lián)網(wǎng)信息的程序。通過網(wǎng)絡(luò)爬蟲不僅能夠為搜索引擎采集網(wǎng)絡(luò)信息，而且可以作為定向信息采集器，定向采集某些網(wǎng)站下的特定信息，如招聘信息，租房信息等。本文通過JAVA實現(xiàn)了一個基于廣度優(yōu)先算法的多線程爬蟲程序。為何要使用多線程，以及如何實現(xiàn)多線程；系統(tǒng)實現(xiàn)過程中的數(shù)據(jù)存儲；網(wǎng)頁信息解析等。通過實現(xiàn)這一爬蟲程序，可以搜集某一站點的URLs，并將搜集到的URLs存入數(shù)據(jù)庫。將解析的網(wǎng)頁存入XML文檔。【關(guān)鍵詞】網(wǎng)絡(luò)爬蟲；SOCKET編程；TCP/IP；網(wǎng)絡(luò)編程；JAVAII沈陽理工大學(xué)學(xué)士學(xué)位論文AbstractInstantmessagesoftw
3、areinourdailyliveshasaverywiderangeofapplication,However,mostofthesoftwaremustbeusedintheInternet,anditmustbeusedinaInternetenvironment.SometimesInternalstaff,students,maynothavetheInternetenvironmentorotherreasonsdonotwishtobeabletocommunicateontheInternet.Thisdevelopmentwill
4、haveaneedforLANcommunicationprogram.Therefore,thispaperpresentstheneedsoflocalareanetworkexchangeinformationSoftware,AnddetailsofthenetworkprotocolTCP/IPprotocolsuiteareintroducedandresearchsuchasTCP,UDP,broadcast,andothertechnologies.andnetworkinformationexchangetheoryisdiscu
5、ssed.BaseonthisconditionIuseofSocketNetworkprogrammingbasedonWindowsplatformtodevelopaLANchatapplication.SPIDERisaprogramwhichcanautocollectinformationsfrominternet.SPIDERcancollectdataforsearchengines,alsocanbeaDirectionalinformationcollector,collectsspecificallyinformationsf
6、romsomewebsites,suchasHRinformations,houserentinformations.Inthispaper,useJAVAimplementsabreadth-firstalgorithmmulti-threadSPDIER.ThispaperexpatiatessomemajorproblemsofSPIDER:whytousemulti-threading,andhowtoimplementmulti-thread;datastructure;HTMLcodeparse.etc.ThisSPIDERcancol
7、lectURLsfromonewebsite,andstoreURLsintodatabase.【KEYWORD】SPIDER;JAVA;；Socketprogramming;TCP/IP;NetworkprogrammingII沈陽理工大學(xué)學(xué)士學(xué)位論文目錄1緒論11.1網(wǎng)絡(luò)爬蟲的發(fā)展11.2國內(nèi)外技術(shù)發(fā)展現(xiàn)狀21.3系統(tǒng)設(shè)計的意義32總體設(shè)計方案42.1系統(tǒng)設(shè)計方案42.2系統(tǒng)設(shè)計框圖42.3網(wǎng)絡(luò)爬蟲的相關(guān)技術(shù)52.3.1URL52.3.2HTTP協(xié)議62.3.3JAVA多線程92.3.4JAVA網(wǎng)絡(luò)編程163系統(tǒng)軟件設(shè)計213.1系統(tǒng)軟件概述2
8、13.2Eclipse軟件介紹213.3服務(wù)器端設(shè)計223.3.1網(wǎng)本頁解析部分223.3.2獲取新的網(wǎng)絡(luò)代理部分363.
