資源描述：
《基于.net搜索引擎》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。
1、基于ASP.Net搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)目錄摘要3ABSTRACT4第一章緒論51.1搜索引擎的背景及意義51.2搜索引擎的現(xiàn)狀6第二章搜索引擎概述82.1搜索引擎的概念82.2搜索引擎的發(fā)展82.3搜索引擎的工作原理92.4.NET簡(jiǎn)介10第三章搜索引擎的設(shè)計(jì)113.1網(wǎng)頁(yè)搜集113.1.1網(wǎng)絡(luò)爬蟲的介紹113.1.2網(wǎng)絡(luò)爬蟲設(shè)計(jì)123.1.3網(wǎng)絡(luò)蜘蛛的實(shí)現(xiàn)143.1.4數(shù)據(jù)庫(kù)設(shè)計(jì)163.2網(wǎng)頁(yè)的信息處理163.2.1倒排索引163.2.2Lucene.Net介紹173.2.3索引結(jié)構(gòu)193.2.4中文分詞技術(shù)213.3查詢信息243.3.1查詢實(shí)現(xiàn)253.3.2word文檔
2、查詢263.3.3關(guān)鍵字高亮顯示27第四章用戶接口設(shè)計(jì)284.1用戶注冊(cè)、登陸284.2查詢擴(kuò)展284.3個(gè)性化查詢294.4系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì)30第五章測(cè)試與評(píng)價(jià)315.1查詢測(cè)試315.2評(píng)價(jià)32第六章結(jié)論和展望33參考文獻(xiàn)35致謝36附錄37摘要互聯(lián)網(wǎng)的快速發(fā)展使得網(wǎng)絡(luò)中的信息量越來越大，普通用戶對(duì)信息的檢索越來越困難。搜索引擎的出現(xiàn)大大的該少了這種情況，互聯(lián)網(wǎng)的快速發(fā)展也使搜索引擎的不斷的發(fā)展著，而搜索引擎的逐漸轉(zhuǎn)向商業(yè)化運(yùn)行，使得搜索引擎的技術(shù)細(xì)節(jié)越來越隱蔽。本文以搜索引擎的三個(gè)基本功能：網(wǎng)頁(yè)爬取、網(wǎng)頁(yè)處理、查詢服務(wù)為出發(fā)點(diǎn)，并按這三個(gè)功能將系統(tǒng)進(jìn)行功能模塊劃分，以AS
3、P.NET技術(shù)作為基礎(chǔ)，實(shí)現(xiàn)了一個(gè)搜索引擎。網(wǎng)頁(yè)中存在著大量鏈接的同時(shí)也具有眾多的冗余信息，例如，導(dǎo)航信息條、廣告欄、版權(quán)信息等，這些冗余信息大大限制了網(wǎng)頁(yè)的可用性，因此在本文中網(wǎng)頁(yè)爬取的重點(diǎn)就是如何快速的提取這些鏈接，而網(wǎng)頁(yè)處理的重點(diǎn)則是去除網(wǎng)頁(yè)中的冗余信息。本文利用正則表達(dá)式的靈活性實(shí)現(xiàn)了對(duì)網(wǎng)頁(yè)中鏈接地址的提取和網(wǎng)頁(yè)中冗余信息的剔除。在獲取鏈接地址進(jìn)行網(wǎng)頁(yè)爬取的同時(shí)對(duì)網(wǎng)頁(yè)信息進(jìn)行提取，同時(shí)基于最大化匹配算法實(shí)現(xiàn)中文分詞算法，并利用DotLucne提供的接口功能成功實(shí)現(xiàn)對(duì)提取網(wǎng)頁(yè)信息的索引，經(jīng)過網(wǎng)頁(yè)信息的提取和分詞預(yù)處理，檢索過程建立的索引更小，檢索的效率和結(jié)果更加理想，并
4、基于此索引為用戶的查詢請(qǐng)求提供服務(wù)。關(guān)鍵詞：搜索引擎；網(wǎng)頁(yè)爬??；ASP.net；中文分詞；AbstractWiththerapiddevelopnebtoftheInternet,ithasbecomethelargestinformationsourceinourlife.Informationsearchanretrievalforordinaryusersbecomemoreandmoredifficult.Theemergenceofsearchenginesgreatlyimprovesthissituation.Searchenginehasmadeaconsta
5、ntdevelopmentwiththedevelopmentoftheInternet,bututsgraduallyshiftingtoconmmercialoperationmakesthetechnicaldetailsofsearchenginemoreandmorehidden.WiththestartpointofthreebasicrequirmentsofsearchenginesasWebSpider,Pages’ProcessingandProvidingServives,thispaperdividesthesystemintothreefunctio
6、nalmodules,andbasedonASP.NET,thispaperexplorestheprincipleandrealizesonesearchengines.Inwebpages,threearealargenumberoflinks,howtofetchouttheselinksfastisthekeypointoftheWebSpiderinthesepaper.Atthesametime,webpagescontainalotofredundantinformationg,navigationtools,advertisingfields,copyrigh
7、tinformationandsoon,theseredundantinformationlimittheavailabilityofinformation.Sohowtoremovetheredundantinformationisfocusofthepageprocessing.Asregularexpressiongs’flexibility,thispaperusesregularexpressionstoachievetheextractionoflinksandremoveredundant
