資源描述:
《吃玩網(wǎng)中deep+web數(shù)據(jù)集成研究》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、山東大學(xué)碩士學(xué)位論文吃玩網(wǎng)中DeepWeb數(shù)據(jù)集成研究姓名:李繼寶申請(qǐng)學(xué)位級(jí)別:碩士專業(yè):計(jì)算機(jī)軟件與理論指導(dǎo)教師:李慶忠20080405山東大學(xué)碩士學(xué)位論文摘要隨著互聯(lián)網(wǎng)的發(fā)展,涌現(xiàn)出大量同類網(wǎng)站(例如房產(chǎn)網(wǎng)、吃玩網(wǎng)、旅游網(wǎng)等),由于各個(gè)網(wǎng)站間信息的孤立性,人們?yōu)楂@得有效信息不得不游離于各個(gè)網(wǎng)站之間。雖然,像谷歌、雅虎、百度等(稱為傳統(tǒng)搜索引擎)提供搜索服務(wù)的網(wǎng)站也可以搜索出不同網(wǎng)站中的信息,但它們的爬蟲只能從一個(gè)鏈接爬行到另一個(gè)鏈接。這樣,新的網(wǎng)頁(yè)要從舊的網(wǎng)頁(yè)中發(fā)現(xiàn),如果一個(gè)網(wǎng)頁(yè)不被別的網(wǎng)頁(yè)索引,那么就永遠(yuǎn)不能被發(fā)現(xiàn),從而形成TDe
2、epWeb。傳統(tǒng)搜索引擎爬蟲的爬行特點(diǎn)決定對(duì)于DeepWeb中的信息一籌莫展,此外傳統(tǒng)搜索引擎還存在信息主題性不強(qiáng)、信息冗余和爬行周期過(guò)長(zhǎng)等問(wèn)題。因而傳統(tǒng)搜索引擎從一定程度上已經(jīng)無(wú)法滿足人們的需求。本文針對(duì)傳統(tǒng)搜索引擎的種種不足,在信息集成的基礎(chǔ)上,綜合傳統(tǒng)搜索引擎的技術(shù),設(shè)計(jì)了基于領(lǐng)域本體的DeepWeb爬蟲模型。并在此模型的基礎(chǔ)上,提出了一個(gè)面向吃玩類網(wǎng)站DeepWeb數(shù)據(jù)集成框架--DWDIS。圍繞著這個(gè)模型和框架,對(duì)其中涉及的若干關(guān)鍵問(wèn)題進(jìn)行了深入的研究,并對(duì)其設(shè)計(jì)和實(shí)現(xiàn)進(jìn)行了初步的探討,實(shí)現(xiàn)了一個(gè)基于DWDIS的吃玩易搜系統(tǒng),
3、對(duì)DWDIS框架進(jìn)行了初步的實(shí)現(xiàn)和應(yīng)用驗(yàn)證。本文主要的研究?jī)?nèi)容和創(chuàng)新工作包括:1.建立了面向特定領(lǐng)域的DeepWeb爬蟲的爬行模型,并以此為本文的理論基礎(chǔ)。該模型在傳統(tǒng)搜索引擎的爬蟲模型基礎(chǔ)上,根據(jù)搜索DeepWeb內(nèi)容的需求,增加了特有的工作步驟。該爬蟲的主要任務(wù)是分析網(wǎng)頁(yè)中是否含有搜索表單,在本體的幫助下,對(duì)表單中的搜索表單進(jìn)行識(shí)別、分析和試填提交,并且對(duì)返回的結(jié)果進(jìn)行分析。而傳統(tǒng)搜索引擎爬蟲的任務(wù)是不斷的從一個(gè)鏈接爬向另一鏈接,并在爬行過(guò)程中,對(duì)鏈接的網(wǎng)頁(yè)下載,進(jìn)行索引存儲(chǔ)。2.在DeepWeb爬蟲的模型基礎(chǔ)上,建立了一個(gè)面向用戶
4、的、應(yīng)用于吃玩類網(wǎng)站DeepWeb數(shù)據(jù)集成框架一—DWDIS。該框架中廣泛的應(yīng)用了信息集成中的模塊和技術(shù),建立吃玩類商家本體,使系統(tǒng)能夠在本體管理器的管理下順利運(yùn)行。山東大學(xué)碩十學(xué)位論文3.在DeepWeb爬蟲模型內(nèi),對(duì)其中的環(huán)節(jié)進(jìn)行了關(guān)鍵部分的實(shí)現(xiàn)工作,并討論了關(guān)鍵部分的實(shí)現(xiàn)算法。在模型中,與傳統(tǒng)爬蟲相同的環(huán)節(jié)沒有進(jìn)行討論,重點(diǎn)討論了不同環(huán)節(jié)的實(shí)現(xiàn)。包括標(biāo)簽與表單元素的匹配算法、表單元素與本體屬性的映射、表單填寫的質(zhì)量標(biāo)準(zhǔn)以及衡量方法。最后,還分析了結(jié)果返回頁(yè)面信息抽取的困難以及克服困難的一些方法。。4.對(duì)本文提出的模型和方法進(jìn)行了關(guān)
5、鍵部分的實(shí)現(xiàn)工作,建立了一個(gè)基于DWDIS的吃玩易搜系統(tǒng),以吃玩類網(wǎng)站DeepWeb數(shù)據(jù)集成為應(yīng)用背景,對(duì)本文工作進(jìn)行了驗(yàn)證。通過(guò)這些實(shí)際的開發(fā)和驗(yàn)證工作,為進(jìn)一步的研究,并使之在更多領(lǐng)域的廣泛應(yīng)用奠定了一定的實(shí)驗(yàn)基礎(chǔ)。5.在基于DWDIS的吃玩易搜系統(tǒng)中提出了活動(dòng)地圖的概念,并對(duì)活動(dòng)地圖的生成顯示以及用戶交互進(jìn)行了實(shí)現(xiàn)。為了方便用戶的交互,本系統(tǒng)采用了異步刷新技術(shù)。使本系統(tǒng)通過(guò)修改本體,就可以運(yùn)用在其它與地理信息相關(guān)的領(lǐng)域。本文針對(duì)解決傳統(tǒng)搜索引擎的問(wèn)題,對(duì)如何有效的搜索出吃玩類網(wǎng)站DeepWeb中的信息進(jìn)行了探索性的研究,希望為該問(wèn)
6、題的解決提供一種有效的思路和方法。本文的課題基礎(chǔ)也是目前信息集成領(lǐng)域應(yīng)用比較廣泛的技術(shù),不但為互聯(lián)網(wǎng)領(lǐng)域的信息搜索提供了思路和方法,同時(shí)也為信息集成領(lǐng)域提供了一定的幫助。這使本文課題研究既具有探索性的理論研究?jī)r(jià)值,也具有較大的應(yīng)用價(jià)值和現(xiàn)實(shí)意義。關(guān)鍵詞:傳統(tǒng)搜索引擎:爬蟲;DeepWeb本體;匹配;信息集成II山東大學(xué)碩士學(xué)位論文ABSTRACTWiththedevelopmentoftheIntemet,alargenumberofVBa"iOUStypesofwebsiteswereappearedinashorttime.Peop
7、lehavetobeeffectiveinvariouswebsites,butspendagreatdealoftimeandefforttofindtheusefulinformation.Although,thesites,such私GOOGLE,Yahoo,Baidu(calledTraditionalSearchEngine),whichprovidesearchservices,canalsosearchinformationfromthedifferentsites.Butthecrawlersoftraditionals
8、earchenginesonlycrawlfromalinktoanotherlink,SOnewwebmustbefoundfromtheoldweb.IfapageWaSnotbeindexed,the