資源描述：
《淺談基于主題策略的網(wǎng)絡(luò)爬行器算法研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、基于主題策略的網(wǎng)絡(luò)爬行器算法研究重慶大學(xué)碩士學(xué)位論文學(xué)生姓名：蔡陽波指導(dǎo)教師：王康教授專業(yè)：計算機系統(tǒng)結(jié)構(gòu)學(xué)科門類：工學(xué)重慶大學(xué)計算機學(xué)院二OO八年五月ResearchonWebCrawlerAlgorithmBasedonTopicStrategyAThesisSubmittedtoChongqingUniversityinPartialFulfillmentoftheRequirementfortheDegreeofMasterofEngineeringbyCaiYangboSupervisor:Pro
2、f.WangKangMajor:ComputerSystemArchitectureCollegeofComputerScienceofChongqingUniversity,Chongqing,ChinaMay2008重慶大學(xué)碩士學(xué)位論文中文摘要摘要隨著互聯(lián)網(wǎng)的快速發(fā)展，人們越來越多地通過搜索引擎來實現(xiàn)信息的獲取。從海量數(shù)據(jù)中獲取信息越來越困難，搜索引擎最核心的技術(shù)是網(wǎng)絡(luò)爬行器方法，對網(wǎng)絡(luò)爬行器的研究、改進成為關(guān)鍵。為解決搜索引擎遇到的諸多難題,已經(jīng)產(chǎn)生了目錄搜索引擎、通用搜索引擎、元搜索引擎、主題搜索引
3、擎、人工智能搜索引擎等研究領(lǐng)域。本論文介紹了搜索引擎的組成及網(wǎng)絡(luò)爬行器的主要原理，結(jié)合網(wǎng)頁評價方法分析了基于主題策略的網(wǎng)絡(luò)爬行器技術(shù)和網(wǎng)頁隧道穿越技術(shù)，對比闡述分析了現(xiàn)有的網(wǎng)絡(luò)爬行器的關(guān)鍵算法，如Pagerank算法、HITS算法、FishSearch算法、SharkSearch算法、BestFirst算法、A*算法等。在現(xiàn)有的算法基礎(chǔ)上，提出新的一種評價網(wǎng)頁重要性的方法，將網(wǎng)頁鏈接分析和內(nèi)容相關(guān)度結(jié)合起來，構(gòu)造網(wǎng)頁核心度公式和網(wǎng)頁輻射空間，并嘗試將網(wǎng)頁輻射空間與隧道穿越技術(shù)結(jié)合起來，并進行了數(shù)學(xué)推理證明，
4、給出了幾個關(guān)于搜索的定理證明，提出了一種基于主題策略的啟發(fā)式搜索蛙跳算法。最后，利用一種通用的主題爬行器搜索策略性能評價系統(tǒng)進行了實驗論證，對比分析了現(xiàn)有算法與啟發(fā)式搜索蛙跳算法性能。本論文創(chuàng)新之處首先在于提出了新的網(wǎng)頁輻射空間的概念，將傳統(tǒng)的網(wǎng)頁重要度計算方法PAGERANK與HITS進行結(jié)合，文本內(nèi)容的相似度計算方法仍然作為分析評估網(wǎng)頁內(nèi)容的重要手段。網(wǎng)頁核心度具有更加廣泛的意義，相比單一的網(wǎng)頁鏈接數(shù)計算或網(wǎng)頁內(nèi)容相似度計算，雖然計算量增加了，但是搜索范圍卻大大縮小了，搜索精度也相應(yīng)提高，滿足了主題搜索
5、的性能要求。第二個創(chuàng)新工作是對網(wǎng)頁隧道穿越算法的研究。因為局部信息可能被淹沒在全局信息之中，傳統(tǒng)主題爬行算法沒有區(qū)分全局相關(guān)性與局部相關(guān)性，將一個訓(xùn)練好的分類器作用到比其更寬泛的主題網(wǎng)頁上，通常會得到不相關(guān)的判斷結(jié)果。本論文將網(wǎng)頁隧道穿越分為兩種類型：主題相關(guān)隧道穿越（connectedtunneling）和主題非相關(guān)隧道穿越（non-connectedtunneling），并提出了相應(yīng)的算法。第三個創(chuàng)新之處是將啟發(fā)式搜索A*算法應(yīng)用到主題爬行中，結(jié)合網(wǎng)頁輻射空間方法和網(wǎng)頁隧道穿越技術(shù)進行了啟發(fā)式函數(shù)的改進
6、，提出了新的啟發(fā)式搜索蛙跳算法。數(shù)學(xué)推理及實驗結(jié)果表明，本論文提出的啟發(fā)式搜索蛙跳算法在減少查找響應(yīng)時間的同時，提高了查全率和查準率，使主題搜索引擎的性能有較大改善。關(guān)鍵詞：主題策略，搜索引擎，網(wǎng)絡(luò)爬行器算法，啟發(fā)式搜索，蛙跳算法I重慶大學(xué)碩士學(xué)位論文英文摘要ABSTRACTAsInternetexpandsrapidly,moreandmoreinformationretrieveisdoneviasearchengine.Informationretrievefromjilliondataisbecom
7、ingmuchmoredifficult.Thecoreofsearchengineiswebcrawlertactics,whichhasbeenakeywhenitisresearchedandimproved.Toresolvemanyproblemsfacedbysearchengine,severalstudyareashaveemerged,suchasdirectorysearchengine,generalsearchengine,metasearchengine,topicsearchen
8、gine,AIsearchengine.Firstly,inthisthesis,componentofthesearchengineandmainprincipleofwebcrawlerareintroduced,webcrawlingtechnologybasedontopic-specificstrategyandwebpagestunnelingtechniqueinaccordancewithasse
