資源描述：
《基于xml的web數(shù)據(jù)存儲與數(shù)據(jù)清洗技術(shù)研究與實現(xiàn)》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、武漢理工大學(xué)碩士學(xué)位論文基于XML的Web數(shù)據(jù)存儲與數(shù)據(jù)清洗技術(shù)研究與實現(xiàn)姓名：邱英申請學(xué)位級別：碩士專業(yè)：計算機應(yīng)用技術(shù)指導(dǎo)教師：胡燕20080401摘要隨著互聯(lián)網(wǎng)的快速發(fā)展，因特網(wǎng)大大地改變著人類的生活方式和商業(yè)模式，Web資源浩瀚如海而且廉價，使得越來越多的公司、機構(gòu)以及組織希望從中挖掘出有價值的商用信息以應(yīng)用于決策支持。然而數(shù)據(jù)挖掘、數(shù)據(jù)倉庫的數(shù)據(jù)源往往來自于結(jié)構(gòu)化的數(shù)據(jù)，如關(guān)系數(shù)據(jù)庫等，數(shù)據(jù)需求的迫切與數(shù)據(jù)格式定義的不一致性，使得將Web信息轉(zhuǎn)換成關(guān)系數(shù)據(jù)庫的數(shù)據(jù)，并對轉(zhuǎn)換后的數(shù)據(jù)進行處理，為決策支持提供
2、高質(zhì)量的數(shù)據(jù)顯得尤其重要。本文主要對Web數(shù)據(jù)存儲和數(shù)據(jù)清洗技術(shù)進行了深入的學(xué)習(xí)和探討，并利用數(shù)據(jù)清洗技術(shù)解決存儲過程中因Web信息重復(fù)產(chǎn)生的數(shù)據(jù)冗余問題，本文主要的工作內(nèi)容如下：1．在介紹XML和分析Web信息顯示特點的基礎(chǔ)上，探討了XML作為Web信息與關(guān)系數(shù)據(jù)庫轉(zhuǎn)換中介的優(yōu)勢，在對XML與關(guān)系數(shù)據(jù)庫相互映射規(guī)則研究的基礎(chǔ)之上，構(gòu)造了一個以XML為轉(zhuǎn)換中介將Web數(shù)據(jù)存儲到關(guān)系數(shù)據(jù)庫，并將數(shù)據(jù)清洗技術(shù)應(yīng)用于數(shù)據(jù)庫的重復(fù)記錄清洗的模型框架，同時將該模型框架應(yīng)用于Web教學(xué)資源信息的存儲與清洗，來驗證其有效性和實用
3、性。2．深入學(xué)習(xí)和探討了相似重復(fù)記錄檢測中的字段匹配算法，如基本字段匹配算法、Smith。Waterman(S．W)算法以及基于編輯距離的字段匹配算法。在分析字段匹配算法對于中文字段匹配的不足和重復(fù)字段特征的基礎(chǔ)上，提出了基于字段關(guān)鍵字匹配優(yōu)化方案，使得相似重復(fù)記錄的召回率R(Recall)和查準(zhǔn)率P(Precision)都能得到較好的滿足。3．由于本文提出了基于字段關(guān)鍵字匹配的算法改進，所以本文對關(guān)鍵字的提取技術(shù)進行了研究，本文著重對基于詞共現(xiàn)模型的自動摘要的關(guān)鍵字提取算法進行了深入的探討，并對關(guān)鍵字的特性進行了
4、分析，提出了基于關(guān)鍵字特性的改進算法，并通過實驗驗證了改進的可行性。4．在將XML數(shù)據(jù)轉(zhuǎn)換成關(guān)系數(shù)據(jù)庫記錄之前，將改進的關(guān)鍵字提取算法與DOM結(jié)合，提取XML文檔節(jié)點的關(guān)鍵字，將提取到的關(guān)鍵字作為該節(jié)點的子節(jié)點回寫XML，為數(shù)據(jù)清洗時采用基于字段關(guān)鍵字匹配的優(yōu)化算法奠定基礎(chǔ)。關(guān)鍵字：數(shù)據(jù)存儲，數(shù)據(jù)清洗，自動摘要，XML，編輯距離AbstractWiththerapiddevelopmentofIntemet，Intemetgreatlyaffectspeople’Slivestyleandcommercialmod
5、el．TheresourceofWebisSOvastandlow-costthatincreasingcorporation、institutionsandorganizationsexpecttominethevaluablecommercialinformationtoapplytotheirdecision-making．However,datasourceofdatamininganddatawarehouseusuallycomesfromstructureddata，suchasrelationald
6、atabase，theinstancyofdatarequirementandinconsistentdefinitionofdataformatmaketheconverSionfromWebinformationtorecordsofrelationaldatabaseandhighqualitydatafordecision—makingbydisposingthetransformeddataparticularlyimportant．Thisdissertationmainlymakesanin·dept
7、hstudyanddiscussionontheWebdatastorageanddatacleaningtechnology,andsolvestheproblemofdataredundancybydatacleaningtechnology,whichisproducedinthecourseofthedataconversionbyreasonofduplicatedWebinformation．Themaincontributionsaboutthedissertationareasfollows：1．O
8、nthebasisofintroducingXMLandanalysingthedisplaycharacteristicofWebinformation，thedissertationdiscussesthedominanCd：oftheconversionfromWebinformationtorelationaldatabasebasedonXMLan
