資源描述:
《基于.net搜索引擎》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、基于ASP.Net搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)目錄摘要3ABSTRACT4第一章緒論51.1搜索引擎的背景及意義51.2搜索引擎的現(xiàn)狀6第二章搜索引擎概述82.1搜索引擎的概念82.2搜索引擎的發(fā)展82.3搜索引擎的工作原理92.4.NET簡(jiǎn)介10第三章搜索引擎的設(shè)計(jì)113.1網(wǎng)頁(yè)搜集113.1.1網(wǎng)絡(luò)爬蟲(chóng)的介紹113.1.2網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)123.1.3網(wǎng)絡(luò)蜘蛛的實(shí)現(xiàn)143.1.4數(shù)據(jù)庫(kù)設(shè)計(jì)163.2網(wǎng)頁(yè)的信息處理163.2.1倒排索引163.2.2Lucene.Net介紹173.2.3索引結(jié)構(gòu)193.2.
2、4中文分詞技術(shù)213.3查詢信息243.3.1查詢實(shí)現(xiàn)253.3.2word文檔查詢263.3.3關(guān)鍵字高亮顯示27第四章用戶接口設(shè)計(jì)284.1用戶注冊(cè)、登陸284.2查詢擴(kuò)展284.3個(gè)性化查詢294.4系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì)30第五章測(cè)試與評(píng)價(jià)315.1查詢測(cè)試315.2評(píng)價(jià)32第六章結(jié)論和展望33參考文獻(xiàn)35致謝36附錄37摘要互聯(lián)網(wǎng)的快速發(fā)展使得網(wǎng)絡(luò)中的信息量越來(lái)越大,普通用戶對(duì)信息的檢索越來(lái)越困難。搜索引擎的出現(xiàn)大大的該少了這種情況,互聯(lián)網(wǎng)的快速發(fā)展也使搜索引擎的不斷的發(fā)展著,而搜索引擎的逐漸轉(zhuǎn)
3、向商業(yè)化運(yùn)行,使得搜索引擎的技術(shù)細(xì)節(jié)越來(lái)越隱蔽。本文以搜索引擎的三個(gè)基本功能:網(wǎng)頁(yè)爬取、網(wǎng)頁(yè)處理、查詢服務(wù)為出發(fā)點(diǎn),并按這三個(gè)功能將系統(tǒng)進(jìn)行功能模塊劃分,以ASP.NET技術(shù)作為基礎(chǔ),實(shí)現(xiàn)了一個(gè)搜索引擎。網(wǎng)頁(yè)中存在著大量鏈接的同時(shí)也具有眾多的冗余信息,例如,導(dǎo)航信息條、廣告欄、版權(quán)信息等,這些冗余信息大大限制了網(wǎng)頁(yè)的可用性,因此在本文中網(wǎng)頁(yè)爬取的重點(diǎn)就是如何快速的提取這些鏈接,而網(wǎng)頁(yè)處理的重點(diǎn)則是去除網(wǎng)頁(yè)中的冗余信息。本文利用正則表達(dá)式的靈活性實(shí)現(xiàn)了對(duì)網(wǎng)頁(yè)中鏈接地址的提取和網(wǎng)頁(yè)中冗余信息的剔除。在
4、獲取鏈接地址進(jìn)行網(wǎng)頁(yè)爬取的同時(shí)對(duì)網(wǎng)頁(yè)信息進(jìn)行提取,同時(shí)基于最大化匹配算法實(shí)現(xiàn)中文分詞算法,并利用DotLucne提供的接口功能成功實(shí)現(xiàn)對(duì)提取網(wǎng)頁(yè)信息的索引,經(jīng)過(guò)網(wǎng)頁(yè)信息的提取和分詞預(yù)處理,檢索過(guò)程建立的索引更小,檢索的效率和結(jié)果更加理想,并基于此索引為用戶的查詢請(qǐng)求提供服務(wù)。關(guān)鍵詞:搜索引擎;網(wǎng)頁(yè)爬取;ASP.net;中文分詞;AbstractWiththerapiddevelopnebtoftheInternet,ithasbecomethelargestinformationsourceino
5、urlife.Informationsearchanretrievalforordinaryusersbecomemoreandmoredifficult.Theemergenceofsearchenginesgreatlyimprovesthissituation.SearchenginehasmadeaconstantdevelopmentwiththedevelopmentoftheInternet,bututsgraduallyshiftingtoconmmercialoperationm
6、akesthetechnicaldetailsofsearchenginemoreandmorehidden.WiththestartpointofthreebasicrequirmentsofsearchenginesasWebSpider,Pages’ProcessingandProvidingServives,thispaperdividesthesystemintothreefunctionalmodules,andbasedonASP.NET,thispaperexploresthepr
7、incipleandrealizesonesearchengines.Inwebpages,threearealargenumberoflinks,howtofetchouttheselinksfastisthekeypointoftheWebSpiderinthesepaper.Atthesametime,webpagescontainalotofredundantinformationg,navigationtools,advertisingfields,copyrightinformatio
8、nandsoon,theseredundantinformationlimittheavailabilityofinformation.Sohowtoremovetheredundantinformationisfocusofthepageprocessing.Asregularexpressiongs’flexibility,thispaperusesregularexpressionstoachievetheextractionoflinksandremoveredundant