搜索引擎及搜索引擎優(yōu)化(seo)實驗

《搜索引擎及搜索引擎優(yōu)化(seo)實驗》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、實驗三搜索引擎及SEO實驗一、實驗?zāi)康难芯坎W(xué)習(xí)幾種常見的搜索引擎算法，包括網(wǎng)絡(luò)蜘蛛爬行策略、中文分詞算法、網(wǎng)頁正文提取算法、網(wǎng)頁去重算法、PageRank和MapReduce算法，了解它們的基本實現(xiàn)原理；運用所學(xué)SEO技術(shù)對網(wǎng)頁進(jìn)行優(yōu)化。二、實驗內(nèi)容1.研究常用的網(wǎng)絡(luò)蜘蛛爬行策略，如深度優(yōu)先策略、廣度優(yōu)先策略、網(wǎng)頁選擇策略、重訪策略和并行策略等，了解其實現(xiàn)原理；2.研究至少兩種中文分詞算法，了解其實現(xiàn)原理；3.研究至少兩種網(wǎng)頁正文提取算法，了解其實現(xiàn)原理；4.研究至少兩種網(wǎng)頁去重算法，了解其實現(xiàn)原

2、理；5.研究Google的PageRank和MapReduce算法，了解它們的實現(xiàn)原理；6.使用所學(xué)的SEO技術(shù)，對實驗二所設(shè)計的網(wǎng)站靜態(tài)首頁實施SEO，在實施過程中需采用如下技術(shù)：(1)網(wǎng)頁標(biāo)題(title)的優(yōu)化；(2)選取合適的關(guān)鍵詞并對關(guān)鍵詞進(jìn)行優(yōu)化；(3)元標(biāo)簽的優(yōu)化；(4)網(wǎng)站結(jié)構(gòu)和URL的優(yōu)化；(5)創(chuàng)建robots.txt文件，禁止蜘蛛抓取網(wǎng)站后臺頁面；(6)網(wǎng)頁內(nèi)部鏈接的優(yōu)化；(7)Heading標(biāo)簽的優(yōu)化；(8)圖片優(yōu)化；(9)網(wǎng)頁減肥技術(shù)。7.使用C++、C#和Java等任意一

3、種編程語言，設(shè)計并實現(xiàn)一個簡單的網(wǎng)絡(luò)蜘蛛爬行程序，要求在輸入關(guān)鍵詞、設(shè)置爬行深度和初始網(wǎng)頁URL之后能夠?qū)崿F(xiàn)網(wǎng)頁搜索，輸出包含關(guān)鍵詞的網(wǎng)頁的URL和網(wǎng)頁標(biāo)題。【注：實驗7為補充實驗，不要求每個同學(xué)都完成，感興趣者可自行實現(xiàn)該程序，不計入實驗報告評分。】三、實驗要求1.研究幾種常用的網(wǎng)絡(luò)蜘蛛爬行策略，填寫相應(yīng)的表格，表格必須填寫完整；2.研究兩種中文分詞算法，填寫相應(yīng)的表格，表格必須填寫完整；3.研究兩種網(wǎng)頁正文提取算法，填寫相應(yīng)的表格，表格必須填寫完整；4.研究兩種網(wǎng)頁去重算法，填寫相應(yīng)的表格，表格

4、必須填寫完整；515.研究PageRank算法和MapReduce算法，填寫相應(yīng)的表格，表格必須填寫完整；6.提供實施SEO之后的網(wǎng)站靜態(tài)首頁界面和HTML代碼，盡量多地使用所學(xué)SEO技術(shù)；7.嚴(yán)禁大面積拷貝互聯(lián)網(wǎng)上已有文字資料，盡量用自己的理解來闡述算法原理，必要時可以通過圖形來描述算法；8.使用任意一種編程語言實現(xiàn)一個簡單的網(wǎng)絡(luò)蜘蛛程序，需提供網(wǎng)絡(luò)蜘蛛程序完整源代碼及實際運行結(jié)果。四、實驗步驟1.通過使用搜索引擎并查閱相關(guān)資料，研究并整理幾種常用的網(wǎng)絡(luò)蜘蛛爬行策略相關(guān)資料，填寫相應(yīng)的表格；2.通

5、過使用搜索引擎并查閱相關(guān)資料，研究并整理兩種中文分詞算法的基本原理，填寫相應(yīng)的表格；3.通過使用搜索引擎并查閱相關(guān)資料，研究并整理兩種網(wǎng)頁正文提取算法的基本原理，填寫相應(yīng)的表格；4.通過使用搜索引擎并查閱相關(guān)資料，研究并整理兩種網(wǎng)頁去重算法的基本原理，填寫相應(yīng)的表格；5.通過使用搜索引擎并查閱相關(guān)資料，研究并整理PageRank算法和MapReduce算法的基本原理，填寫相應(yīng)的表格；6.對實驗二所設(shè)計的網(wǎng)站靜態(tài)首頁實施SEO；7.使用任意一種編程語言，設(shè)計并實現(xiàn)一個簡單的網(wǎng)絡(luò)蜘蛛爬行程序。五、實驗報

6、告要求1.研究幾種常用的網(wǎng)絡(luò)蜘蛛爬行策略并填寫如下表格：策略名稱基本原理參考資料深度優(yōu)先策略深度優(yōu)先搜索是一種在開發(fā)爬蟲早期使用較多的方法。它的目的是要達(dá)到被搜索結(jié)構(gòu)的葉結(jié)點(即那些不包含任何超鏈的HTML文件百度百科深度優(yōu)先搜索：http://baike.baidu.com/view/288277.htm51)。在一個HTML文件中，當(dāng)一個超鏈被選擇后，被鏈接的HTML文件將執(zhí)行深度優(yōu)先搜索，即在搜索其余的超鏈結(jié)果之前必須先完整地搜索單獨的一條鏈。深度優(yōu)先搜索沿著HTML文件上的超鏈走到不能再深入

7、為止，然后返回到某一個HTML文件，再繼續(xù)選擇該HTML文件中的其他超鏈。當(dāng)不再有其他超鏈可選擇時，說明搜索已經(jīng)結(jié)束。廣度優(yōu)先策略寬度優(yōu)先搜索算法（又稱廣度優(yōu)先搜索）是最簡便的圖的搜索算法之一，這一算法也是很多重要的圖的算法的原型。Dijkstra單源最短路徑算法和Prim最小生成樹算法都采用了和寬度優(yōu)先搜索類似的思想。其別名又叫BFS，屬于一種盲目搜尋法，目的是系統(tǒng)地展開并檢查圖中的所有節(jié)點，以找尋結(jié)果。換句話說，它并不考慮結(jié)果的可能位址，徹底地搜索整張圖，直到找到結(jié)果為止。百度百科廣度優(yōu)先搜索：

8、http://baike.baidu.com/view/1242613.htm網(wǎng)頁選擇策略對搜索引擎而言，要搜索互聯(lián)網(wǎng)上所有的網(wǎng)頁幾乎不可能，即使全球知名的搜索引擎google也只能搜索整個Internet網(wǎng)頁的30％左右。其中的原因主要有兩方面，一是抓取技術(shù)的瓶頸。網(wǎng)絡(luò)爬蟲無法遍歷所有的網(wǎng)頁；二是存儲技術(shù)和處理技術(shù)的問題。因此，網(wǎng)絡(luò)爬蟲在抓取網(wǎng)頁時。盡量先采集重要的網(wǎng)頁，即采用網(wǎng)頁優(yōu)先抓取策略。網(wǎng)頁選擇策略是給予重要程度、等級較高的Web頁以較高的抓取優(yōu)先級，即We