資源描述：
《基于廣度優(yōu)先算法的多線程網(wǎng)絡爬蟲畢業(yè)設計》由會員上傳分享，免費在線閱讀，更多相關內容在學術論文-天天文庫。
1、沈陽理工大學學士學位論文基于廣度優(yōu)先算法的多線程網(wǎng)絡爬蟲摘要目前即使通訊軟件在平時的生活中有著十分廣泛的應用，但是對絕大部分的軟件來說，都必須應用在互聯(lián)網(wǎng)上，必須在一個INTERNET環(huán)境下才能使用。有時候單位內部的員工，同學，在沒有互聯(lián)網(wǎng)環(huán)境下或因其他原因希望不用INTERNET就可以進行信息交互，這樣開發(fā)局域網(wǎng)通信就有了必要性。本文提出了局域網(wǎng)信息交互的需求，并詳細對網(wǎng)絡協(xié)議TCP/IP協(xié)議族進行了介紹和研究，如TCP，UDP，廣播等相關技術。并對網(wǎng)絡信息交互原理驚醒了說明，在此基礎上利用SOCKET網(wǎng)絡編程實現(xiàn)了一
2、種基于WINDOWS平臺的局域網(wǎng)信息交互功能。網(wǎng)絡爬蟲是一種自動搜集互聯(lián)網(wǎng)信息的程序。通過網(wǎng)絡爬蟲不僅能夠為搜索引擎采集網(wǎng)絡信息，而且可以作為定向信息采集器，定向采集某些網(wǎng)站下的特定信息，如招聘信息，租房信息等。本文通過JAVA實現(xiàn)了一個基于廣度優(yōu)先算法的多線程爬蟲程序。為何要使用多線程，以及如何實現(xiàn)多線程；系統(tǒng)實現(xiàn)過程中的數(shù)據(jù)存儲；網(wǎng)頁信息解析等。通過實現(xiàn)這一爬蟲程序，可以搜集某一站點的URLs，并將搜集到的URLs存入數(shù)據(jù)庫。將解析的網(wǎng)頁存入XML文檔?！娟P鍵詞】網(wǎng)絡爬蟲；SOCKET編程；TCP/IP；網(wǎng)絡編程；J
3、AVAII沈陽理工大學學士學位論文AbstractInstantmessagesoftwareinourdailyliveshasaverywiderangeofapplication,However,mostofthesoftwaremustbeusedintheInternet,anditmustbeusedinaInternetenvironment.SometimesInternalstaff,students,maynothavetheInternetenvironmentorotherreasonsdonot
4、wishtobeabletocommunicateontheInternet.ThisdevelopmentwillhaveaneedforLANcommunicationprogram.Therefore,thispaperpresentstheneedsoflocalareanetworkexchangeinformationSoftware,AnddetailsofthenetworkprotocolTCP/IPprotocolsuiteareintroducedandresearchsuchasTCP,UDP,b
5、roadcast,andothertechnologies.andnetworkinformationexchangetheoryisdiscussed.BaseonthisconditionIuseofSocketNetworkprogrammingbasedonWindowsplatformtodevelopaLANchatapplication.SPIDERisaprogramwhichcanautocollectinformationsfrominternet.SPIDERcancollectdataforsea
6、rchengines,alsocanbeaDirectionalinformationcollector,collectsspecificallyinformationsfromsomewebsites,suchasHRinformations,houserentinformations.Inthispaper,useJAVAimplementsabreadth-firstalgorithmmulti-threadSPDIER.ThispaperexpatiatessomemajorproblemsofSPIDER:wh
7、ytousemulti-threading,andhowtoimplementmulti-thread;datastructure;HTMLcodeparse.etc.ThisSPIDERcancollectURLsfromonewebsite,andstoreURLsintodatabase.【KEYWORD】SPIDER;JAVA;；Socketprogramming;TCP/IP;NetworkprogrammingII沈陽理工大學學士學位論文目錄1緒論11.1網(wǎng)絡爬蟲的發(fā)展11.2國內外技術發(fā)展現(xiàn)狀21.3系統(tǒng)設
8、計的意義32總體設計方案42.1系統(tǒng)設計方案42.2系統(tǒng)設計框圖42.3網(wǎng)絡爬蟲的相關技術52.3.1URL52.3.2HTTP協(xié)議62.3.3JAVA多線程92.3.4JAVA網(wǎng)絡編程163系統(tǒng)軟件設計213.1系統(tǒng)軟件概述213.2Eclipse軟件介紹213.3服務器端設計223.3.1網(wǎng)本頁解析部分223.3
