吃玩網(wǎng)中deep+web數(shù)據(jù)集成研究

吃玩網(wǎng)中deep+web數(shù)據(jù)集成研究

ID:33171120

大?。?.67 MB

頁(yè)數(shù):71頁(yè)

時(shí)間:2019-02-21

吃玩網(wǎng)中deep+web數(shù)據(jù)集成研究_第1頁(yè)
吃玩網(wǎng)中deep+web數(shù)據(jù)集成研究_第2頁(yè)
吃玩網(wǎng)中deep+web數(shù)據(jù)集成研究_第3頁(yè)
吃玩網(wǎng)中deep+web數(shù)據(jù)集成研究_第4頁(yè)
吃玩網(wǎng)中deep+web數(shù)據(jù)集成研究_第5頁(yè)
資源描述:

《吃玩網(wǎng)中deep+web數(shù)據(jù)集成研究》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、山東大學(xué)碩士學(xué)位論文吃玩網(wǎng)中DeepWeb數(shù)據(jù)集成研究姓名:李繼寶申請(qǐng)學(xué)位級(jí)別:碩士專業(yè):計(jì)算機(jī)軟件與理論指導(dǎo)教師:李慶忠20080405山東大學(xué)碩士學(xué)位論文摘要隨著互聯(lián)網(wǎng)的發(fā)展,涌現(xiàn)出大量同類網(wǎng)站(例如房產(chǎn)網(wǎng)、吃玩網(wǎng)、旅游網(wǎng)等),由于各個(gè)網(wǎng)站間信息的孤立性,人們?yōu)楂@得有效信息不得不游離于各個(gè)網(wǎng)站之間。雖然,像谷歌、雅虎、百度等(稱為傳統(tǒng)搜索引擎)提供搜索服務(wù)的網(wǎng)站也可以搜索出不同網(wǎng)站中的信息,但它們的爬蟲只能從一個(gè)鏈接爬行到另一個(gè)鏈接。這樣,新的網(wǎng)頁(yè)要從舊的網(wǎng)頁(yè)中發(fā)現(xiàn),如果一個(gè)網(wǎng)頁(yè)不被別的網(wǎng)頁(yè)索引,那么就永遠(yuǎn)不能被發(fā)現(xiàn),從而形成TDe

2、epWeb。傳統(tǒng)搜索引擎爬蟲的爬行特點(diǎn)決定對(duì)于DeepWeb中的信息一籌莫展,此外傳統(tǒng)搜索引擎還存在信息主題性不強(qiáng)、信息冗余和爬行周期過(guò)長(zhǎng)等問(wèn)題。因而傳統(tǒng)搜索引擎從一定程度上已經(jīng)無(wú)法滿足人們的需求。本文針對(duì)傳統(tǒng)搜索引擎的種種不足,在信息集成的基礎(chǔ)上,綜合傳統(tǒng)搜索引擎的技術(shù),設(shè)計(jì)了基于領(lǐng)域本體的DeepWeb爬蟲模型。并在此模型的基礎(chǔ)上,提出了一個(gè)面向吃玩類網(wǎng)站DeepWeb數(shù)據(jù)集成框架--DWDIS。圍繞著這個(gè)模型和框架,對(duì)其中涉及的若干關(guān)鍵問(wèn)題進(jìn)行了深入的研究,并對(duì)其設(shè)計(jì)和實(shí)現(xiàn)進(jìn)行了初步的探討,實(shí)現(xiàn)了一個(gè)基于DWDIS的吃玩易搜系統(tǒng),

3、對(duì)DWDIS框架進(jìn)行了初步的實(shí)現(xiàn)和應(yīng)用驗(yàn)證。本文主要的研究?jī)?nèi)容和創(chuàng)新工作包括:1.建立了面向特定領(lǐng)域的DeepWeb爬蟲的爬行模型,并以此為本文的理論基礎(chǔ)。該模型在傳統(tǒng)搜索引擎的爬蟲模型基礎(chǔ)上,根據(jù)搜索DeepWeb內(nèi)容的需求,增加了特有的工作步驟。該爬蟲的主要任務(wù)是分析網(wǎng)頁(yè)中是否含有搜索表單,在本體的幫助下,對(duì)表單中的搜索表單進(jìn)行識(shí)別、分析和試填提交,并且對(duì)返回的結(jié)果進(jìn)行分析。而傳統(tǒng)搜索引擎爬蟲的任務(wù)是不斷的從一個(gè)鏈接爬向另一鏈接,并在爬行過(guò)程中,對(duì)鏈接的網(wǎng)頁(yè)下載,進(jìn)行索引存儲(chǔ)。2.在DeepWeb爬蟲的模型基礎(chǔ)上,建立了一個(gè)面向用戶

4、的、應(yīng)用于吃玩類網(wǎng)站DeepWeb數(shù)據(jù)集成框架一—DWDIS。該框架中廣泛的應(yīng)用了信息集成中的模塊和技術(shù),建立吃玩類商家本體,使系統(tǒng)能夠在本體管理器的管理下順利運(yùn)行。山東大學(xué)碩十學(xué)位論文3.在DeepWeb爬蟲模型內(nèi),對(duì)其中的環(huán)節(jié)進(jìn)行了關(guān)鍵部分的實(shí)現(xiàn)工作,并討論了關(guān)鍵部分的實(shí)現(xiàn)算法。在模型中,與傳統(tǒng)爬蟲相同的環(huán)節(jié)沒有進(jìn)行討論,重點(diǎn)討論了不同環(huán)節(jié)的實(shí)現(xiàn)。包括標(biāo)簽與表單元素的匹配算法、表單元素與本體屬性的映射、表單填寫的質(zhì)量標(biāo)準(zhǔn)以及衡量方法。最后,還分析了結(jié)果返回頁(yè)面信息抽取的困難以及克服困難的一些方法。。4.對(duì)本文提出的模型和方法進(jìn)行了關(guān)

5、鍵部分的實(shí)現(xiàn)工作,建立了一個(gè)基于DWDIS的吃玩易搜系統(tǒng),以吃玩類網(wǎng)站DeepWeb數(shù)據(jù)集成為應(yīng)用背景,對(duì)本文工作進(jìn)行了驗(yàn)證。通過(guò)這些實(shí)際的開發(fā)和驗(yàn)證工作,為進(jìn)一步的研究,并使之在更多領(lǐng)域的廣泛應(yīng)用奠定了一定的實(shí)驗(yàn)基礎(chǔ)。5.在基于DWDIS的吃玩易搜系統(tǒng)中提出了活動(dòng)地圖的概念,并對(duì)活動(dòng)地圖的生成顯示以及用戶交互進(jìn)行了實(shí)現(xiàn)。為了方便用戶的交互,本系統(tǒng)采用了異步刷新技術(shù)。使本系統(tǒng)通過(guò)修改本體,就可以運(yùn)用在其它與地理信息相關(guān)的領(lǐng)域。本文針對(duì)解決傳統(tǒng)搜索引擎的問(wèn)題,對(duì)如何有效的搜索出吃玩類網(wǎng)站DeepWeb中的信息進(jìn)行了探索性的研究,希望為該問(wèn)

6、題的解決提供一種有效的思路和方法。本文的課題基礎(chǔ)也是目前信息集成領(lǐng)域應(yīng)用比較廣泛的技術(shù),不但為互聯(lián)網(wǎng)領(lǐng)域的信息搜索提供了思路和方法,同時(shí)也為信息集成領(lǐng)域提供了一定的幫助。這使本文課題研究既具有探索性的理論研究?jī)r(jià)值,也具有較大的應(yīng)用價(jià)值和現(xiàn)實(shí)意義。關(guān)鍵詞:傳統(tǒng)搜索引擎:爬蟲;DeepWeb本體;匹配;信息集成II山東大學(xué)碩士學(xué)位論文ABSTRACTWiththedevelopmentoftheIntemet,alargenumberofVBa"iOUStypesofwebsiteswereappearedinashorttime.Peop

7、lehavetobeeffectiveinvariouswebsites,butspendagreatdealoftimeandefforttofindtheusefulinformation.Although,thesites,such私GOOGLE,Yahoo,Baidu(calledTraditionalSearchEngine),whichprovidesearchservices,canalsosearchinformationfromthedifferentsites.Butthecrawlersoftraditionals

8、earchenginesonlycrawlfromalinktoanotherlink,SOnewwebmustbefoundfromtheoldweb.IfapageWaSnotbeindexed,the

當(dāng)前文檔最多預(yù)覽五頁(yè),下載文檔查看全文

此文檔下載收益歸作者所有

當(dāng)前文檔最多預(yù)覽五頁(yè),下載文檔查看全文
溫馨提示:
1. 部分包含數(shù)學(xué)公式或PPT動(dòng)畫的文件,查看預(yù)覽時(shí)可能會(huì)顯示錯(cuò)亂或異常,文件下載后無(wú)此問(wèn)題,請(qǐng)放心下載。
2. 本文檔由用戶上傳,版權(quán)歸屬用戶,天天文庫(kù)負(fù)責(zé)整理代發(fā)布。如果您對(duì)本文檔版權(quán)有爭(zhēng)議請(qǐng)及時(shí)聯(lián)系客服。
3. 下載前請(qǐng)仔細(xì)閱讀文檔內(nèi)容,確認(rèn)文檔內(nèi)容符合您的需求后進(jìn)行下載,若出現(xiàn)內(nèi)容與標(biāo)題不符可向本站投訴處理。
4. 下載文檔時(shí)可能由于網(wǎng)絡(luò)波動(dòng)等原因無(wú)法下載或下載錯(cuò)誤,付費(fèi)完成后未能成功下載的用戶請(qǐng)聯(lián)系客服處理。