資源描述：
《分布式書籍網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計與實現(xiàn)》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、國內(nèi)圖書分類號：TP301．6國際圖書分類號：681．14西南交通大學(xué)研究生學(xué)位論文密級：公開坌查盛盤箍圓絡(luò)爬蟲丕統(tǒng)的遮i土皇塞堡年姓專二。一四年四月ClassifiedIndex：TP301．6U．D．C：681．14SouthwestJiaotongUniversityMasterDegreeThesisDesignandImplementationofDistributedBooksWebCrawlerSystemGrade：2011Candidate：ZhaoPengchengAcadem
2、icDegreeAppliedfor：MasterSpeciality：ComputerApplicationTechnologySupervisor：TaoHongcaiApril，2014西南交通大學(xué)學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向國家有關(guān)部門或機構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人授權(quán)西南交通大學(xué)可以將本論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復(fù)印手段保存和匯編本學(xué)位論文。本學(xué)位論文
3、屬于1．保密口，在年解密后適用本授權(quán)書；2，不保密√，使用本授權(quán)書。(請在以上方框內(nèi)打“√”)學(xué)位論文作者簽名：起印讒彳毫指導(dǎo)老師簽名日期：2014年多月)∥白日期：2014西南交通大學(xué)碩士學(xué)位論文主要工作(貢獻)聲明本人在學(xué)位論文中所做的主要工作或貢獻如下：第一，對各種網(wǎng)絡(luò)爬蟲框架進行對比研究。最后選擇Scrapy網(wǎng)絡(luò)爬蟲框架進行深入研究，設(shè)計并實現(xiàn)了新的調(diào)度器模塊，使其具有分布式爬取功能。第二，設(shè)計并實現(xiàn)書籍網(wǎng)絡(luò)爬蟲。將書籍的名稱、作者、內(nèi)容、封面這些信息作為一個完備的書籍?dāng)?shù)據(jù)項進行爬取。第三
4、，設(shè)計并實現(xiàn)了數(shù)據(jù)流水線。將爬取得到的書籍信息進行分布式存儲，將爬取得到的書籍文件存儲在文件系統(tǒng)中。本人鄭重聲明：所呈交的學(xué)位論文，是在導(dǎo)師指導(dǎo)下獨立進行研究工作所得的成果。除文中已經(jīng)注明引用的內(nèi)容外，本論文不包含任何其他個人或集體己經(jīng)發(fā)表或撰寫過的研究成果。對本文的研究做出貢獻的個人和集體，均已在文中作了明確說明。本人完全了解違反上述聲明所引起的一切法律責(zé)任將由本人承擔(dān)。學(xué)位論文作者簽名：紅卅色辱日期：歸／純f，>礦西南交通大學(xué)碩士研究生學(xué)位論文第1頁摘要互聯(lián)網(wǎng)技術(shù)高速發(fā)展，人們的生活方式也發(fā)生
5、了改變。以往讀書只能買紙質(zhì)書，現(xiàn)在其傳播媒介發(fā)生了改變，電子書很大程度上替代了紙質(zhì)書。然而，互聯(lián)網(wǎng)上書籍很多，而且增長迅速，如何從互聯(lián)網(wǎng)中快速地選擇出對自己有用的書籍尤為重要。本文設(shè)計并實現(xiàn)了一個基于Scrapy框架的分布式書籍網(wǎng)絡(luò)爬蟲系統(tǒng)DScrapy，實現(xiàn)了對互聯(lián)網(wǎng)上書籍信息與書籍文件的下載，對爬取得到的數(shù)據(jù)進行分布式存儲。將從互聯(lián)網(wǎng)上爬取得到的信息存入MongoDB中，可以方便地對下載的書籍進行操作。首先，對Scrapy開源網(wǎng)絡(luò)爬蟲框架進行深入研究。針對它只能單機爬取的不足，設(shè)計了新的調(diào)度器
6、模塊替換掉原有調(diào)度器，使其可以進行主從式分布式爬取。然后設(shè)計了針對書籍爬取的流水線，其中包括書籍封面存儲模塊、書籍信息存儲模塊以及書籍文件存儲模塊。其次，完成了分布式書籍網(wǎng)絡(luò)爬蟲DScrapy系統(tǒng)的實現(xiàn)。在以上的設(shè)計工作基礎(chǔ)上進行了具體代碼編寫與測試工作，其中包括：先確定采用Linux系統(tǒng)作為開發(fā)平臺：網(wǎng)頁信息提取方面使用XPath技術(shù)來實現(xiàn)；然后使用Redis內(nèi)存數(shù)據(jù)庫存儲URL隊列；書籍信息存儲使用MongoDB進行分布式存儲；書籍文件存儲則采用GridFS來實現(xiàn)。再次，將本系統(tǒng)對實際網(wǎng)站進行
7、測試。測試結(jié)果表明該系統(tǒng)具有實用性，可以將大型爬取任務(wù)分散到各個節(jié)點，大幅度提高整個系統(tǒng)的爬取速度。最后，對本文的研究內(nèi)容進行了總結(jié)，并展望了進一步的研究工作。關(guān)鍵詞：分布式；書籍爬蟲；Scrapy；數(shù)據(jù)存儲西南交通大學(xué)碩士研究生學(xué)位論文第1I頁AbstractAsInternettechnologyisdevelopingrapidly,people’Slifestylehasgraduallychanged．Previously,readingbookcallbeonlyacquiredbyp
8、rintedbooks．Butnowmediahavechanged．E—bookhasreplacedthepositionofprintedbooklargely．HoweveLthequantityofe-bookisgrowingrapidly．So，itisimportanthowtoselecttheusefulbookfromtheInternet．Thisthesisdesignedandimplementedadistributedwebbookscrawlers
