資源描述：
《分布式網(wǎng)絡(luò)爬蟲在農(nóng)產(chǎn)品搜索系統(tǒng)中的應(yīng)用與研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學術(shù)論文-天天文庫。
1、分類號：密級：UDC：學號：416114514065南昌大學專業(yè)學位研究生學位論文分布式網(wǎng)絡(luò)爬蟲在農(nóng)產(chǎn)品搜索系統(tǒng)中的應(yīng)用與研究TheApplicationandResearchofDistributedWebCrawlerinAgriculturalSearchingSystem袁龍濤培養(yǎng)單位（院、系）：信息工程學院指導(dǎo)教師姓名、職稱：劉捷副教授專業(yè)學位種類：工程碩士專業(yè)領(lǐng)域名稱：計算機技術(shù)論文答辯日期：2016年5月21日答辯委員會主席：評閱人：年月日獨創(chuàng)性聲明摘要摘要在互聯(lián)網(wǎng)信息規(guī)?？焖僭鲩L的背景下，要想
2、將互聯(lián)網(wǎng)上各種各樣的信息全部涵蓋和收集顯得不太現(xiàn)實，即使是谷歌、百度這樣的搜索引擎公司也只能收集到不到20%的互聯(lián)網(wǎng)信息[1]。通用搜索引擎在人們的生活中起著越來越關(guān)鍵的作用，但是隨著人們需求的多元化，以及通用引擎自身局限性，通常精確的搜索需求得不到滿足。網(wǎng)絡(luò)商品信息繁多，各種農(nóng)產(chǎn)品隨著產(chǎn)地和時間的不同，價格變化大，而且農(nóng)產(chǎn)品交易網(wǎng)站數(shù)量眾多，如何快捷的得到自己感興趣的網(wǎng)絡(luò)農(nóng)產(chǎn)品信息就是一個值得研究的問題了。由于網(wǎng)絡(luò)信息量巨大，即使是農(nóng)產(chǎn)品這樣一個非常狹小的領(lǐng)域，也會涉及到海量的信息。建立一個比價系統(tǒng)首要的就
3、是信息源的選取，在海量信息面前，單機爬蟲顯然是作用有限的。本文提出了將網(wǎng)絡(luò)爬蟲和分布式的系統(tǒng)進行結(jié)合，在多機集群的分布式系統(tǒng)中實現(xiàn)的網(wǎng)絡(luò)爬蟲，從而提高信息下載收集的效率。本文所構(gòu)建的系統(tǒng)是在Nutch這個成熟的搜索引擎架構(gòu)上進行功能化和特性化的改造，使系統(tǒng)可以針對農(nóng)產(chǎn)品的信息建立索引，并提供搜索和查詢功能。由于本文研究的是針對特定領(lǐng)域的商品信息，因此在對商品信息進行搜索和建立索引時，就會涉及到URL的過濾和主題相關(guān)性的判斷問題。我們結(jié)合了HTMLParaser和正則表達式對URL進行過濾，在對網(wǎng)頁的內(nèi)容主題相
4、關(guān)性判定時，借助于空間向量模型。在收集完相關(guān)網(wǎng)頁信息后，在進行建立搜索和搜索服務(wù)提供時，都會涉及到分詞操作，由于Nutch中原有的分詞操作不能夠較好的實現(xiàn)中文分詞，我們選用了對中文分詞支持比較好的IKAnalyzer來完成中文的分詞。索引操作是對于收集到的信息進行一個預(yù)先的組織優(yōu)化，使信息能夠快速的被定位到。Nutch系統(tǒng)中采用的檢索，由Lucene提供的全文檢索系統(tǒng)，對網(wǎng)頁信息進行索引建立，為高效搜索提供支持。最后將基于Nutch的面向農(nóng)產(chǎn)品商品信息的分布式爬蟲系統(tǒng)，進行部署進行實驗驗證，發(fā)現(xiàn)分布式的爬蟲相
5、對于普通爬蟲還是存在著并行的優(yōu)勢。整個系統(tǒng)還能夠很好的對網(wǎng)絡(luò)中農(nóng)產(chǎn)品建立索引并集成這些信息，為用戶提供農(nóng)業(yè)產(chǎn)品商品信息的檢索服務(wù)和一定的排序比較功能，實現(xiàn)個性化搜索服務(wù)，從而對系統(tǒng)可用性進行了驗證。I摘要關(guān)鍵詞：Nutch；分布式系統(tǒng)；網(wǎng)絡(luò)爬蟲；垂直搜索；農(nóng)產(chǎn)品IIAbstractABSTRACTUnderthebackgroundoftherapidgrowthofInternetinformation,itisnotrealistictocoverandcollectallkindsofinformati
6、onsoftheInternet.SomesearchenginecompaniessuchasGoogle,Baiducancollectonlylessthan20%ofInternetinformations[1].Generalsearchenginesareplayinganincreasinglycriticalroleinpeople'slives,butwiththediversificationofpeople’sneeds,andthelimitationsofgeneralengines
7、,it’susuallyhardtomeettheaccuratesearchneeds.Commodity’sinformationsarevariousontheInternet.Agriculturalproductschangealotinpricebecauseofdifferentoriginandproductingtime,itisaproblemworthytostudythathowtogetagriculturalinformationsontheInternetwhichwearein
8、terestin,astherearealargenumberofagriculturalproductstradingsites.Ifyoucanquicklyobtaininformationaboutrelatedproductsbysimplyenterthekeyword,itwillbeaverygoodservice.Duetothehugeamountofinformationnet
