基于web垂直搜索引擎地研究

《基于web垂直搜索引擎地研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、武漢理工大學(xué)碩士學(xué)位論文摘要現(xiàn)代網(wǎng)絡(luò)的飛速發(fā)展，網(wǎng)上的信息量在以驚人的速度飛快的增長(zhǎng)，人們對(duì)搜索引擎的要求不斷地提高，為了找到一種更滿(mǎn)足人們需求的搜索引擎，垂直搜索引擎就在發(fā)展中產(chǎn)生了。垂直搜索引擎服務(wù)于特定行業(yè)、特定人群，具體問(wèn)題具體分析，解決了通用搜索引擎的一些不足之處，比以往的通用搜索引擎更占有優(yōu)勢(shì)。隨著信息產(chǎn)業(yè)化的發(fā)展，面向?qū)I(yè)方向的搜索需求也越來(lái)越多，現(xiàn)在，實(shí)現(xiàn)某個(gè)專(zhuān)門(mén)方向的垂直搜索引擎系統(tǒng)成為搜索引擎的的熱點(diǎn)問(wèn)題之一。本文在深入研究垂直搜索引擎的關(guān)鍵技術(shù)的基礎(chǔ)上，分析并設(shè)計(jì)專(zhuān)業(yè)網(wǎng)絡(luò)蜘蛛、索引、檢索

2、的流程，采用了專(zhuān)業(yè)網(wǎng)絡(luò)蜘蛛的搜索策略，實(shí)現(xiàn)了信息的采集、索引和查詢(xún)，構(gòu)建了垂直搜索引擎系統(tǒng)。本文主要研究?jī)?nèi)容如下：(1)專(zhuān)業(yè)網(wǎng)絡(luò)蜘蛛：在分析專(zhuān)業(yè)網(wǎng)絡(luò)蜘蛛的相關(guān)技術(shù)上，設(shè)計(jì)了專(zhuān)業(yè)網(wǎng)絡(luò)蜘蛛的搜索策略和流程，研究了基于網(wǎng)頁(yè)內(nèi)容和鏈接結(jié)構(gòu)的兩種搜索策略，并采用了將兩種搜索策略結(jié)合的搜索策略，對(duì)系統(tǒng)的核心部分網(wǎng)絡(luò)蜘蛛進(jìn)行設(shè)計(jì)與實(shí)現(xiàn)。(2)索引和中文分詞：本文對(duì)索引和中文分詞的算法進(jìn)行了研究與設(shè)計(jì)，采用最大化分詞策略的中文分詞算法，并對(duì)分詞后的信息建立索引，采用倒排索引形式將索引數(shù)據(jù)組織存放到數(shù)據(jù)庫(kù)，實(shí)現(xiàn)信息數(shù)據(jù)的索引。

3、(3)信息檢索技術(shù)：本文對(duì)檢索的框架結(jié)構(gòu)進(jìn)行了研究，采用相似度匹配的算法對(duì)查詢(xún)出的網(wǎng)頁(yè)信息進(jìn)行排序，用戶(hù)通過(guò)檢索接口查詢(xún)關(guān)鍵字，將排序后的結(jié)果通過(guò)接口輸出，并顯示給用戶(hù)。(4)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)：通過(guò)對(duì)搜索引擎關(guān)鍵技術(shù)的探討與研究，對(duì)垂直搜索引擎各個(gè)模塊進(jìn)行了分析與設(shè)計(jì)，設(shè)計(jì)了專(zhuān)門(mén)的信息采集模塊，索引模塊，信息查詢(xún)模塊，實(shí)現(xiàn)了一個(gè)垂直搜索引擎系統(tǒng)。本文所設(shè)計(jì)的系統(tǒng)為具有專(zhuān)業(yè)化、個(gè)性化的特點(diǎn)，并滿(mǎn)足用戶(hù)信息檢索要求。最后，對(duì)垂直搜索引擎的相關(guān)技術(shù)的實(shí)現(xiàn)進(jìn)行總結(jié)，對(duì)技術(shù)不夠成熟的地方和有待進(jìn)一步優(yōu)化的地方進(jìn)行了展望，

4、提出了以后的大致的研究方向和目標(biāo)，一步一步的完善系統(tǒng)，使得垂直搜索的服務(wù)水平更加專(zhuān)業(yè)化。關(guān)鍵詞：搜索引擎，專(zhuān)業(yè)網(wǎng)絡(luò)蜘蛛，中文分詞，索引武漢理工大學(xué)碩士學(xué)位論文AbstractModemnetworkrapiddevelopment,theamountofinformationonthewebatanalarmingrateofrapidgrowth,thesearchenginerequirementscontinuetoimprove，inordertofindamorepeopletomeetthenee

5、dsofthesearchengine，theverticalsearchengineindevelopmentproduces．Verticalsearchengineservicestoaspecificindustry,specificpopulations，solvesearchenginesomedeficiencies，thanthepreviousgeneralsearchengineadvantage．Withthedevelopmentofinformationindustrializati

6、on,thesearchdemandoforientedtotheprofessionaldirectionisalsogrowing,now，ithasbecomeoneofthehotissuesofsearchenginetoachieveaspecificorientationoftheverticalsearchenginesystem．Thispaperanalysisanddesigntheprocessofprofessionalwebspider，indexingandretrieval，o

7、nthebasisofstudyingtheverticalsearchenginekeytechnology,usingtheprofessionalnetworkspidersearchstrategy,tOachievetheinformationcollection,indexingandquery,toconstructstheverticalsearchenginesystem．Inthispaper,themainresearchcontentsareasfollows：(1)professio

8、nalnetworkspider：thepaperanalysisprofessionalnetworkspidertechnology,designprofessionalwebspidersearchstrategyandprocess，studiestwokindsofsearchstrategywhichaletwosearchstrategi髂ofbased011thestudyofweb