資源描述：
《畢業(yè)設(shè)計(jì)（論文）-基于Lucene與Heritrix的搜索引擎構(gòu)建》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、大連民族學(xué)院本科畢業(yè)設(shè)計(jì)（論文）基于Lucene與Heritrix的搜索引擎構(gòu)建學(xué)院（系）：計(jì)算機(jī)科學(xué)與工程專業(yè)：軟件工程學(xué)生姓名：學(xué)號(hào)：指導(dǎo)教師：評(píng)閱教師：完成日期：大連民族學(xué)院基于Lucene與Heritrix的搜索引擎構(gòu)建摘要在互聯(lián)網(wǎng)蓬勃發(fā)展的今天，互聯(lián)網(wǎng)上的信息更是浩如煙海。人們?cè)谙硎芑ヂ?lián)網(wǎng)帶來(lái)的便利的同時(shí)，卻面臨著一個(gè)如何在如此海量的內(nèi)容中準(zhǔn)確、快捷地找到自己所需要的信息的問(wèn)題，由此互聯(lián)網(wǎng)搜索引擎應(yīng)運(yùn)而生。本文在對(duì)搜索引擎的原理、組成、數(shù)據(jù)結(jié)構(gòu)和工作流程等方面深入研究的基礎(chǔ)上，對(duì)搜索引擎的三個(gè)核心部分即網(wǎng)絡(luò)蜘蛛、網(wǎng)頁(yè)索引和搜索的分析及實(shí)現(xiàn)過(guò)程進(jìn)行闡述。網(wǎng)絡(luò)蜘蛛部分采用了基于
2、遞歸和歸檔機(jī)制的Heritrix網(wǎng)絡(luò)爬蟲；網(wǎng)頁(yè)索引部分利用開源的Lucene引擎架構(gòu)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)可復(fù)用的、可擴(kuò)展的索引建立與管理子系統(tǒng)；搜索部分在Ajax技術(shù)支持上，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)靈活、簡(jiǎn)潔的用戶接口。本系統(tǒng)具有抓取網(wǎng)頁(yè)、建立和管理索引、建立日志以及搜索信息等功能，具備一定的應(yīng)用前景。關(guān)鍵詞：搜索引擎；中文分詞；索引-I-基于Lucene與Heritrix的搜索引擎構(gòu)建TheConstructionofSearchEngineBasedonLuceneandHeritrixAbstractThecontentsontheWebareincreasingexponentially
3、astherapiddevelopmentoftheInternet.AproblemhowtoobtaintheusefulinformationfromvastcontentsquicklyandaccuratelyisfacinguswhilepeopleareenjoyingtheconvenienceoftheInternet.ThesolverofthisproblemisWebSearchEngine.Theanalysisandimplementationprocessofthreebasiccomponentsofsearchengine(Crawler,Index
4、erandSearcher)isdescribedinthispaperonthebasisoffurtherstudyontheprinciples,composition,datastructureandworkflowofsearchengine.ThecrawlercomponentisimplementedwithHeritrixcrawlerbasedonthemechanismofrecursionandarchiving;Areusable,extensibleindexestablishmentandmanagementsubsystemaredesignedand
5、implementedbyopen-sourcepackagenamed“Lucene”intheindexercomponent;TheSearchercomponentbasedontheAjaxtechnologyisdesignedandrealizedasaflexible,conciseuserinterface.Thesystemhassomefunctions,suchascrawlingwebpage,establishmentandmanagementindex,establishmentlogandsearchinformation,ithasacertaina
6、pplicationprospect.KeyWords：SearchEngine；ChineseWordSegmentation；Index-III-基于Lucene與Heritrix的搜索引擎構(gòu)建目錄摘要IAbstractII1緒論11.1項(xiàng)目背景11.2國(guó)內(nèi)外發(fā)展現(xiàn)狀12系統(tǒng)的開發(fā)平臺(tái)及相關(guān)技術(shù)32.1系統(tǒng)開發(fā)平臺(tái)32.2系統(tǒng)開發(fā)技術(shù)32.2.1Heritrix網(wǎng)絡(luò)爬蟲簡(jiǎn)介32.2.2Lucene技術(shù)簡(jiǎn)介42.2.3Ajax技術(shù)簡(jiǎn)介43系統(tǒng)分析與設(shè)計(jì)63.1系統(tǒng)需求分析63.1.1系統(tǒng)架構(gòu)分析63.1.2系統(tǒng)用例模型63.1.3系統(tǒng)領(lǐng)域模型103.2系統(tǒng)概要設(shè)計(jì)113.3系統(tǒng)詳細(xì)
7、設(shè)計(jì)123.3.1索引建立子系統(tǒng)133.3.2用戶接口子系統(tǒng)174系統(tǒng)的實(shí)現(xiàn)184.1系統(tǒng)包框架的構(gòu)建184.1.1索引建立子系統(tǒng)184.1.2用戶接口子系統(tǒng)194.2系統(tǒng)主要功能實(shí)現(xiàn)194.2.1索引建立子系統(tǒng)194.2.2用戶接口子系統(tǒng)22結(jié)論24參考文獻(xiàn)25致謝26-III-基于Lucene與Heritrix的搜索引擎構(gòu)建1緒論1.1項(xiàng)目背景1994年左右，萬(wàn)維網(wǎng)（worldwideweb）出現(xiàn)了。它的開放性和其上信息廣泛的可訪問(wèn)性極大的激勵(lì)了人們創(chuàng)
