資源描述：
《畢業(yè)論文,網(wǎng)絡(luò)爬蟲在信息獲取領(lǐng)域的應(yīng)用戶》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、題目網(wǎng)絡(luò)爬蟲技術(shù)在信息獲取領(lǐng)域的應(yīng)用專業(yè)學(xué)生姓名班級學(xué)號指導(dǎo)教師指導(dǎo)單位摘要現(xiàn)在，大多數(shù)人們獲取信息的途徑已經(jīng)不再是報紙和電視，而是互聯(lián)網(wǎng)，一個曾被人們所漠視的領(lǐng)域，突然成為了人們獲取信息的主要途徑。人們等車前不會拿著報紙埋頭讀報，而是拿著手機(jī)翻看著網(wǎng)頁，新聞；人們回到家也不會迫切的打開電視收看新聞，而是打開電腦查看這一天的新聞趣事。這一切的一切都要歸功于搜索引擎，而一個搜索引擎的核心就是網(wǎng)絡(luò)爬蟲。這篇論文就為大家介紹并實現(xiàn)一個簡單的網(wǎng)絡(luò)爬蟲。本論文一共分為四章，第一章介紹了課題的背景和網(wǎng)絡(luò)爬蟲的現(xiàn)狀；第二章介紹了網(wǎng)絡(luò)爬蟲的原理和構(gòu)架；第三章說明了實現(xiàn)網(wǎng)絡(luò)爬蟲的基本構(gòu)思
2、和一些需要注意的協(xié)議算法；第四章展示了我的制作過程，結(jié)果，java代碼。本篇論文向大家展示了爬蟲的重要性和實用性，在現(xiàn)代網(wǎng)絡(luò)中發(fā)揮的不可或缺的意義，并向大家展示了親手實現(xiàn)一個網(wǎng)絡(luò)爬蟲應(yīng)注意的問題和方法。向大家充分的說明了網(wǎng)絡(luò)爬蟲的原理和構(gòu)架。本文中的爬蟲是實用java語言在JDK軟件上實現(xiàn)的，具有一定的功能，能較好的從實踐上證明之前闡述的原理以及算法。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲，spider，java，JDKABSTRACTNow,mostpeoplegettheirinformationapproachisnolongerthenewspapersandtelevision,b
3、uttheInternet,ahadbeenpeopleignorefield,suddenlybecamethemainwaypeoplegetinformation.Peoplewon'ttakenewspaperssuchasinfront,buttookcellphonenewspaperleafingthroughtheweb,news;Thepeoplebacktohomealsowon'turgentopentelevisionnews,butopencomputercheckthisdaythenewsfun.Theyallshouldbeattribu
4、tedtothesearchengine,butasearchenginecoreiswebcrawlers.Thispaperistointroduceandimplementasimplewebcrawlers.Thisthesisissplitintofourchapters,thefirstchapterpresentsthebackgroundandthesubjectstatusofwebcrawlers;Thesecondchapterpresentstheprincipleandthenetworkcrawlerframe;Thethirdchapter
5、illustratesthebasicconceptionrealizethewebcrawlerandsomenoteagreementalgorithms;Thefourthchapterdemonstratesmymanufactureprocess,results,Javacode.Thispapertoshowyoutheimportanceofreptilesinthemodernnetworkandpracticability,playessentialmeaning,toshowyouthehandimplementawebcrawlersproblem
6、sshouldbepaidattentiontoandmethods.Toeveryonefullyillustratestheprincipleandwebcrawlersframe.InthispaperthecrawlerispracticalinJDKsoftwareJavalanguageonimplementation,hasacertainfunction,andcanbetterfrompracticebeforetheprincipleandthepaperprovedalgorithmispresented.Keywords:Webcrawlers,
7、spider,java,JDK目錄引言1第1章 緒論21.1課題來源及意義21.1.1搜索引擎的分類和整體結(jié)構(gòu)21.2網(wǎng)絡(luò)爬蟲研究現(xiàn)狀41.3小結(jié)6第二章網(wǎng)絡(luò)爬蟲基本構(gòu)架72.1聚焦爬蟲的工作原理72.2抓取目標(biāo)描述72.3內(nèi)容的提取82.4爬蟲的工作過程中索引器的應(yīng)用92.5散列函數(shù)的構(gòu)造法102.6小結(jié)11第三章爬蟲構(gòu)思123.1網(wǎng)絡(luò)爬蟲流程設(shè)計123.2解析Html文件133.3分析Html文件133.4相關(guān)協(xié)議的介紹153.4.1Socket套接字協(xié)議153.4.2HTTP/HTTPS協(xié)議163.4.3多線程與線程同步163.5小
