資源描述：
《基于lucene與heritrix的搜索引擎構(gòu)建畢業(yè)設(shè)計(jì)論文》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、基于Lucene與Heritrix的搜索引擎構(gòu)建基于Lucene與Heritrix的搜索引擎構(gòu)建摘要在互聯(lián)網(wǎng)蓬勃發(fā)展的今天，互聯(lián)網(wǎng)上的信息更是浩如煙海。人們在享受互聯(lián)網(wǎng)帶來的便利的同時(shí)，卻面臨著一個(gè)如何在如此海量的內(nèi)容中準(zhǔn)確、快捷地找到自己所需要的信息的問題，由此互聯(lián)網(wǎng)搜索引擎應(yīng)運(yùn)而生。本文在對(duì)搜索引擎的原理、組成、數(shù)據(jù)結(jié)構(gòu)和工作流程等方面深入研究的基礎(chǔ)上，對(duì)搜索引擎的三個(gè)核心部分即網(wǎng)絡(luò)蜘蛛、網(wǎng)頁索引和搜索的分析及實(shí)現(xiàn)過程進(jìn)行闡述。網(wǎng)絡(luò)蜘蛛部分采用了基于遞歸和歸檔機(jī)制的Heritrix網(wǎng)絡(luò)爬蟲；網(wǎng)頁索引部分利用開源的Lucene引擎架構(gòu)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)可復(fù)用的、可擴(kuò)展的索引
2、建立與管理子系統(tǒng)；搜索部分在Ajax技術(shù)支持上，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)靈活、簡潔的用戶接口。本系統(tǒng)具有抓取網(wǎng)頁、建立和管理索引、建立日志以及搜索信息等功能，具備一定的應(yīng)用前景。關(guān)鍵詞：搜索引擎；中文分詞；索引--基于Lucene與Heritrix的搜索引擎構(gòu)建TheConstructionofSearchEngineBasedonLuceneandHeritrixAbstractThecontentsontheWebareincreasingexponentiallyastherapiddevelopmentoftheInternet.Aproblemhowtoobtainthe
3、usefulinformationfromvastcontentsquicklyandaccuratelyisfacinguswhilepeopleareenjoyingtheconvenienceoftheInternet.ThesolverofthisproblemisWebSearchEngine.Theanalysisandimplementationprocessofthreebasiccomponentsofsearchengine(Crawler,IndexerandSearcher)isdescribedinthispaperonthebasisoffurt
4、herstudyontheprinciples,composition,datastructureandworkflowofsearchengine.ThecrawlercomponentisimplementedwithHeritrixcrawlerbasedonthemechanismofrecursionandarchiving;Areusable,extensibleindexestablishmentandmanagementsubsystemaredesignedandimplementedbyopen-sourcepackagenamed“Lucene”int
5、heindexercomponent;TheSearchercomponentbasedontheAjaxtechnologyisdesignedandrealizedasaflexible,conciseuserinterface.Thesystemhassomefunctions,suchascrawlingwebpage,establishmentandmanagementindex,establishmentlogandsearchinformation,ithasacertainapplicationprospect.KeyWords：SearchEngine；C
6、hineseWordSegmentation；Index-II-基于Lucene與Heritrix的搜索引擎構(gòu)建目錄摘要IAbstractII1緒論11.1項(xiàng)目背景11.2國內(nèi)外發(fā)展現(xiàn)狀12系統(tǒng)的開發(fā)平臺(tái)及相關(guān)技術(shù)32.1系統(tǒng)開發(fā)平臺(tái)32.2系統(tǒng)開發(fā)技術(shù)32.2.1Heritrix網(wǎng)絡(luò)爬蟲簡介32.2.2Lucene技術(shù)簡介42.2.3Ajax技術(shù)簡介43系統(tǒng)分析與設(shè)計(jì)63.1系統(tǒng)需求分析63.1.1系統(tǒng)架構(gòu)分析63.1.2系統(tǒng)用例模型63.1.3系統(tǒng)領(lǐng)域模型103.2系統(tǒng)概要設(shè)計(jì)113.3系統(tǒng)詳細(xì)設(shè)計(jì)123.3.1索引建立子系統(tǒng)133.3.2用戶接口子系統(tǒng)174系統(tǒng)的實(shí)現(xiàn)
7、184.1系統(tǒng)包框架的構(gòu)建184.1.1索引建立子系統(tǒng)184.1.2用戶接口子系統(tǒng)194.2系統(tǒng)主要功能實(shí)現(xiàn)194.2.1索引建立子系統(tǒng)194.2.2用戶接口子系統(tǒng)22結(jié)論24參考文獻(xiàn)25致謝26-II-基于Lucene與Heritrix的搜索引擎構(gòu)建1緒論1.1項(xiàng)目背景1994年左右，萬維網(wǎng)（worldwideweb）出現(xiàn)了。它的開放性和其上信息廣泛的可訪問性極大的激勵(lì)了人們創(chuàng)作的積極性。在短短的十幾年間，人類至少在萬維網(wǎng)上發(fā)布了40億條的網(wǎng)頁，并且現(xiàn)在每天都有數(shù)以萬計(jì)的數(shù)量增長。由于網(wǎng)絡(luò)上的資源與生俱來的數(shù)字化
