資源描述：
《本科畢業(yè)設計--基于廣度優(yōu)先算法的多線程網絡爬蟲.doc》由會員上傳分享，免費在線閱讀，更多相關內容在學術論文-天天文庫。
1、沈陽理工大學學士學位論文摘要目前即使通訊軟件在平時的生活中有著十分廣泛的應用，但是對絕大部分的軟件來說，都必須應用在互聯(lián)網上，必須在一個INTERNET環(huán)境下才能使用。有時候單位內部的員工，同學，在沒有互聯(lián)網環(huán)境下或因其他原因希望不用INTERNET就可以進行信息交互，這樣開發(fā)局域網通信就有了必要性。本文提出了局域網信息交互的需求，并詳細對網絡協(xié)議TCP/IP協(xié)議族進行了介紹和研究，如TCP，UDP，廣播等相關技術。并對網絡信息交互原理驚醒了說明，在此基礎上利用SOCKET網絡編程實現(xiàn)了一種基于WINDOWS平臺的局域網信息交互功能。網絡爬蟲是一種自動搜集互聯(lián)網
2、信息的程序。通過網絡爬蟲不僅能夠為搜索引擎采集網絡信息，而且可以作為定向信息采集器，定向采集某些網站下的特定信息，如招聘信息，租房信息等。本文通過JAVA實現(xiàn)了一個基于廣度優(yōu)先算法的多線程爬蟲程序。為何要使用多線程，以及如何實現(xiàn)多線程；系統(tǒng)實現(xiàn)過程中的數(shù)據(jù)存儲；網頁信息解析等。通過實現(xiàn)這一爬蟲程序，可以搜集某一站點的URLs，并將搜集到的URLs存入數(shù)據(jù)庫。將解析的網頁存入XML文檔。【關鍵詞】網絡爬蟲；SOCKET編程；TCP/IP；網絡編程；JAVAII沈陽理工大學學士學位論文AbstractInstantmessagesoftwareinourdailyl
3、iveshasaverywiderangeofapplication,However,mostofthesoftwaremustbeusedintheInternet,anditmustbeusedinaInternetenvironment.SometimesInternalstaff,students,maynothavetheInternetenvironmentorotherreasonsdonotwishtobeabletocommunicateontheInternet.ThisdevelopmentwillhaveaneedforLANcommun
4、icationprogram.Therefore,thispaperpresentstheneedsoflocalareanetworkexchangeinformationSoftware,AnddetailsofthenetworkprotocolTCP/IPprotocolsuiteareintroducedandresearchsuchasTCP,UDP,broadcast,andothertechnologies.andnetworkinformationexchangetheoryisdiscussed.BaseonthisconditionIuse
5、ofSocketNetworkprogrammingbasedonWindowsplatformtodevelopaLANchatapplication.SPIDERisaprogramwhichcanautocollectinformationsfrominternet.SPIDERcancollectdataforsearchengines,alsocanbeaDirectionalinformationcollector,collectsspecificallyinformationsfromsomewebsites,suchasHRinformation
6、s,houserentinformations.Inthispaper,useJAVAimplementsabreadth-firstalgorithmmulti-threadSPDIER.ThispaperexpatiatessomemajorproblemsofSPIDER:whytousemulti-threading,andhowtoimplementmulti-thread;datastructure;HTMLcodeparse.etc.ThisSPIDERcancollectURLsfromonewebsite,andstoreURLsintodat
7、abase.【KEYWORD】SPIDER;JAVA;；Socketprogramming;TCP/IP;NetworkprogrammingII沈陽理工大學學士學位論文目錄1緒論11.1網絡爬蟲的發(fā)展11.2國內外技術發(fā)展現(xiàn)狀21.3系統(tǒng)設計的意義32總體設計方案42.1系統(tǒng)設計方案42.2系統(tǒng)設計框圖42.3網絡爬蟲的相關技術52.3.1URL52.3.2HTTP協(xié)議62.3.3JAVA多線程92.3.4JAVA網絡編程163系統(tǒng)軟件設計213.1系統(tǒng)軟件概述213.2Eclipse軟件介紹213.3服務器端設計223.3.1網本頁解析部分223.3.2獲取
8、新的網絡代理部分363.
