搜索引擎及搜索引擎優(yōu)化(seo)實(shí)驗(yàn)

《搜索引擎及搜索引擎優(yōu)化(seo)實(shí)驗(yàn)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、實(shí)驗(yàn)三搜索引擎及SEO實(shí)驗(yàn)一、實(shí)驗(yàn)?zāi)康难芯坎W(xué)習(xí)幾種常見(jiàn)的搜索引擎算法，包括網(wǎng)絡(luò)蜘蛛爬行策略、中文分詞算法、網(wǎng)頁(yè)正文提取算法、網(wǎng)頁(yè)去重算法、PageRank和MapReduce算法，了解它們的基本實(shí)現(xiàn)原理；運(yùn)用所學(xué)SEO技術(shù)對(duì)網(wǎng)頁(yè)進(jìn)行優(yōu)化。二、實(shí)驗(yàn)內(nèi)容1.研究常用的網(wǎng)絡(luò)蜘蛛爬行策略，如深度優(yōu)先策略、廣度優(yōu)先策略、網(wǎng)頁(yè)選擇策略、重訪策略和并行策略等，了解其實(shí)現(xiàn)原理；2.研究至少兩種中文分詞算法，了解其實(shí)現(xiàn)原理；3.研究至少兩種網(wǎng)頁(yè)正文提取算法，了解其實(shí)現(xiàn)原理；4.研究至少兩種網(wǎng)頁(yè)去重算法，了解其實(shí)現(xiàn)原理；5.研究G

2、oogle的PageRank和MapReduce算法，了解它們的實(shí)現(xiàn)原理；6.使用所學(xué)的SEO技術(shù)，對(duì)實(shí)驗(yàn)二所設(shè)計(jì)的網(wǎng)站靜態(tài)首頁(yè)實(shí)施SEO，在實(shí)施過(guò)程中需采用如下技術(shù)：(1)網(wǎng)頁(yè)標(biāo)題(title)的優(yōu)化；(2)選取合適的關(guān)鍵詞并對(duì)關(guān)鍵詞進(jìn)行優(yōu)化；(3)元標(biāo)簽的優(yōu)化；(4)網(wǎng)站結(jié)構(gòu)和URL的優(yōu)化；(5)創(chuàng)建robots.txt文件，禁止蜘蛛抓取網(wǎng)站后臺(tái)頁(yè)面；(6)網(wǎng)頁(yè)內(nèi)部鏈接的優(yōu)化；(7)Heading標(biāo)簽的優(yōu)化；(8)圖片優(yōu)化；(9)網(wǎng)頁(yè)減肥技術(shù)。7.使用C++、C#和Java等任意一種編程語(yǔ)言，設(shè)計(jì)并實(shí)現(xiàn)一個(gè)簡(jiǎn)

3、單的網(wǎng)絡(luò)蜘蛛爬行程序，要求在輸入關(guān)鍵詞、設(shè)置爬行深度和初始網(wǎng)頁(yè)URL之后能夠?qū)崿F(xiàn)網(wǎng)頁(yè)搜索，輸出包含關(guān)鍵詞的網(wǎng)頁(yè)的URL和網(wǎng)頁(yè)標(biāo)題。【注：實(shí)驗(yàn)7為補(bǔ)充實(shí)驗(yàn)，不要求每個(gè)同學(xué)都完成，感興趣者可自行實(shí)現(xiàn)該程序，不計(jì)入實(shí)驗(yàn)報(bào)告評(píng)分?！咳?shí)驗(yàn)要求1.研究幾種常用的網(wǎng)絡(luò)蜘蛛爬行策略，填寫(xiě)相應(yīng)的表格，表格必須填寫(xiě)完整；2.研究?jī)煞N中文分詞算法，填寫(xiě)相應(yīng)的表格，表格必須填寫(xiě)完整；3.研究?jī)煞N網(wǎng)頁(yè)正文提取算法，填寫(xiě)相應(yīng)的表格，表格必須填寫(xiě)完整；4.研究?jī)煞N網(wǎng)頁(yè)去重算法，填寫(xiě)相應(yīng)的表格，表格必須填寫(xiě)完整；515.研究PageRank

4、算法和MapReduce算法，填寫(xiě)相應(yīng)的表格，表格必須填寫(xiě)完整；6.提供實(shí)施SEO之后的網(wǎng)站靜態(tài)首頁(yè)界面和HTML代碼，盡量多地使用所學(xué)SEO技術(shù)；7.嚴(yán)禁大面積拷貝互聯(lián)網(wǎng)上已有文字資料，盡量用自己的理解來(lái)闡述算法原理，必要時(shí)可以通過(guò)圖形來(lái)描述算法；8.使用任意一種編程語(yǔ)言實(shí)現(xiàn)一個(gè)簡(jiǎn)單的網(wǎng)絡(luò)蜘蛛程序，需提供網(wǎng)絡(luò)蜘蛛程序完整源代碼及實(shí)際運(yùn)行結(jié)果。四、實(shí)驗(yàn)步驟1.通過(guò)使用搜索引擎并查閱相關(guān)資料，研究并整理幾種常用的網(wǎng)絡(luò)蜘蛛爬行策略相關(guān)資料，填寫(xiě)相應(yīng)的表格；2.通過(guò)使用搜索引擎并查閱相關(guān)資料，研究并整理兩種中文分詞算法

5、的基本原理，填寫(xiě)相應(yīng)的表格；3.通過(guò)使用搜索引擎并查閱相關(guān)資料，研究并整理兩種網(wǎng)頁(yè)正文提取算法的基本原理，填寫(xiě)相應(yīng)的表格；4.通過(guò)使用搜索引擎并查閱相關(guān)資料，研究并整理兩種網(wǎng)頁(yè)去重算法的基本原理，填寫(xiě)相應(yīng)的表格；5.通過(guò)使用搜索引擎并查閱相關(guān)資料，研究并整理PageRank算法和MapReduce算法的基本原理，填寫(xiě)相應(yīng)的表格；6.對(duì)實(shí)驗(yàn)二所設(shè)計(jì)的網(wǎng)站靜態(tài)首頁(yè)實(shí)施SEO；7.使用任意一種編程語(yǔ)言，設(shè)計(jì)并實(shí)現(xiàn)一個(gè)簡(jiǎn)單的網(wǎng)絡(luò)蜘蛛爬行程序。五、實(shí)驗(yàn)報(bào)告要求1.研究幾種常用的網(wǎng)絡(luò)蜘蛛爬行策略并填寫(xiě)如下表格：策略名稱(chēng)基本原

6、理參考資料深度優(yōu)先策略深度優(yōu)先搜索是一種在開(kāi)發(fā)爬蟲(chóng)早期使用較多的方法。它的目的是要達(dá)到被搜索結(jié)構(gòu)的葉結(jié)點(diǎn)(即那些不包含任何超鏈的HTML文件百度百科深度優(yōu)先搜索：http://baike.baidu.com/view/288277.htm51)。在一個(gè)HTML文件中，當(dāng)一個(gè)超鏈被選擇后，被鏈接的HTML文件將執(zhí)行深度優(yōu)先搜索，即在搜索其余的超鏈結(jié)果之前必須先完整地搜索單獨(dú)的一條鏈。深度優(yōu)先搜索沿著HTML文件上的超鏈走到不能再深入為止，然后返回到某一個(gè)HTML文件，再繼續(xù)選擇該HTML文件中的其他超鏈。當(dāng)不再有其

7、他超鏈可選擇時(shí)，說(shuō)明搜索已經(jīng)結(jié)束。廣度優(yōu)先策略寬度優(yōu)先搜索算法（又稱(chēng)廣度優(yōu)先搜索）是最簡(jiǎn)便的圖的搜索算法之一，這一算法也是很多重要的圖的算法的原型。Dijkstra單源最短路徑算法和Prim最小生成樹(shù)算法都采用了和寬度優(yōu)先搜索類(lèi)似的思想。其別名又叫BFS，屬于一種盲目搜尋法，目的是系統(tǒng)地展開(kāi)并檢查圖中的所有節(jié)點(diǎn)，以找尋結(jié)果。換句話(huà)說(shuō)，它并不考慮結(jié)果的可能位址，徹底地搜索整張圖，直到找到結(jié)果為止。百度百科廣度優(yōu)先搜索：http://baike.baidu.com/view/1242613.htm網(wǎng)頁(yè)選擇策略對(duì)搜索引

8、擎而言，要搜索互聯(lián)網(wǎng)上所有的網(wǎng)頁(yè)幾乎不可能，即使全球知名的搜索引擎google也只能搜索整個(gè)Internet網(wǎng)頁(yè)的30％左右。其中的原因主要有兩方面，一是抓取技術(shù)的瓶頸。網(wǎng)絡(luò)爬蟲(chóng)無(wú)法遍歷所有的網(wǎng)頁(yè)；二是存儲(chǔ)技術(shù)和處理技術(shù)的問(wèn)題。因此，網(wǎng)絡(luò)爬蟲(chóng)在抓取網(wǎng)頁(yè)時(shí)。盡量先采集重要的網(wǎng)頁(yè)，即采用網(wǎng)頁(yè)優(yōu)先抓取策略。網(wǎng)頁(yè)選擇策略是給予重要程度、等級(jí)較高的Web頁(yè)以較高的抓取優(yōu)先級(jí)，即We