資源描述：
《畢業(yè)設(shè)計(jì)論文--基于lucene與heritrix的搜索引擎構(gòu)建》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、大連民族學(xué)院本科畢業(yè)設(shè)計(jì)（論文）基于Lucene與Heritrix的搜索引擎構(gòu)建學(xué)院（系）：計(jì)算機(jī)科學(xué)與工程專業(yè)：軟件工程學(xué)生姓名：馮超學(xué)號(hào)：04083105指導(dǎo)教師：趙晶瑩評(píng)閱教師：完成日期：大連民族學(xué)院基于Lucene與Heritrix的搜索引擎構(gòu)建摘要在互聯(lián)網(wǎng)蓬勃發(fā)展的今天，互聯(lián)網(wǎng)上的信息更是浩如煙海。人們?cè)谙硎芑ヂ?lián)網(wǎng)帶來的便利的同時(shí)，卻面臨著一個(gè)如何在如此海量的內(nèi)容中準(zhǔn)確、快捷地找到自己所需要的信息的問題，由此互聯(lián)網(wǎng)搜索引擎應(yīng)運(yùn)而生。本文在對(duì)搜索引擎的原理、組成、數(shù)據(jù)結(jié)構(gòu)和工作流程等方面深入研究的基礎(chǔ)上，對(duì)搜索引擎的三個(gè)核心部分即網(wǎng)絡(luò)蜘蛛、網(wǎng)頁索引和搜索的分析及實(shí)現(xiàn)過程進(jìn)行闡述。
2、網(wǎng)絡(luò)蜘蛛部分采用了基于遞歸和歸檔機(jī)制的Heritrix網(wǎng)絡(luò)爬蟲；網(wǎng)頁索引部分利用開源的Lucene引擎架構(gòu)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)可復(fù)用的、可擴(kuò)展的索引建立與管理子系統(tǒng)；搜索部分在Ajax技術(shù)支持上，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)靈活、簡(jiǎn)潔的用戶接口。本系統(tǒng)具有抓取網(wǎng)頁、建立和管理索引、建立日志以及搜索信息等功能，具備一定的應(yīng)用前景。關(guān)鍵詞：搜索引擎；中文分詞；索引-I-基于Lucene與Heritrix的搜索引擎構(gòu)建TheConstructionofSearchEngineBasedonLuceneandHeritrixAbstractThecontentsontheWebareincreasingexpo
3、nentiallyastherapiddevelopmentoftheInternet.AproblemhowtoobtaintheusefulinformationfromvastcontentsquicklyandaccuratelyisfacinguswhilepeopleareenjoyingtheconvenienceoftheInternet.ThesolverofthisproblemisWebSearchEngine.Theanalysisandimplementationprocessofthreebasiccomponentsofsearchengine(Crawle
4、r,IndexerandSearcher)isdescribedinthispaperonthebasisoffurtherstudyontheprinciples,composition,datastructureandworkflowofsearchengine.ThecrawlercomponentisimplementedwithHeritrixcrawlerbasedonthemechanismofrecursionandarchiving;Areusable,extensibleindexestablishmentandmanagementsubsystemaredesign
5、edandimplementedbyopen-sourcepackagenamed“Lucene”intheindexercomponent;TheSearchercomponentbasedontheAjaxtechnologyisdesignedandrealizedasaflexible,conciseuserinterface.Thesystemhassomefunctions,suchascrawlingwebpage,establishmentandmanagementindex,establishmentlogandsearchinformation,ithasacerta
6、inapplicationprospect.KeyWords：SearchEngine；ChineseWordSegmentation；Index-III-基于Lucene與Heritrix的搜索引擎構(gòu)建目錄摘要IAbstractII1緒論11.1項(xiàng)目背景11.2國(guó)內(nèi)外發(fā)展現(xiàn)狀12系統(tǒng)的開發(fā)平臺(tái)及相關(guān)技術(shù)32.1系統(tǒng)開發(fā)平臺(tái)32.2系統(tǒng)開發(fā)技術(shù)32.2.1Heritrix網(wǎng)絡(luò)爬蟲簡(jiǎn)介32.2.2Lucene技術(shù)簡(jiǎn)介42.2.3Ajax技術(shù)簡(jiǎn)介43系統(tǒng)分析與設(shè)計(jì)63.1系統(tǒng)需求分析63.1.1系統(tǒng)架構(gòu)分析63.1.2系統(tǒng)用例模型63.1.3系統(tǒng)領(lǐng)域模型103.2系統(tǒng)概要設(shè)計(jì)113.3系統(tǒng)詳
7、細(xì)設(shè)計(jì)123.3.1索引建立子系統(tǒng)133.3.2用戶接口子系統(tǒng)174系統(tǒng)的實(shí)現(xiàn)184.1系統(tǒng)包框架的構(gòu)建184.1.1索引建立子系統(tǒng)184.1.2用戶接口子系統(tǒng)194.2系統(tǒng)主要功能實(shí)現(xiàn)194.2.1索引建立子系統(tǒng)194.2.2用戶接口子系統(tǒng)22結(jié)論24參考文獻(xiàn)25致謝26-III-基于Lucene與Heritrix的搜索引擎構(gòu)建1緒論1.1項(xiàng)目背景1994年左右，萬維網(wǎng)（worldwideweb）出現(xiàn)了。它的開放性和其上信息廣泛的
