資源描述:
《web中的行情數(shù)據(jù)抽取與預(yù)測研究》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在學術(shù)論文-天天文庫。
1、合肥工業(yè)大學碩士學位論文Web中的行情數(shù)據(jù)抽取與預(yù)測研究姓名:于春燕申請學位級別:碩士專業(yè):計算機應(yīng)用技術(shù)指導(dǎo)教師:胡學鋼20070901Web中的行情數(shù)據(jù)抽取與預(yù)測研究摘要隨著Web技術(shù)的飛速發(fā)展,萬維網(wǎng)已經(jīng)成為世界上最大的資源庫,面向Web數(shù)據(jù)的挖掘與應(yīng)用成為數(shù)據(jù)挖掘領(lǐng)域的研究熱點。其中,針對Web中大量動態(tài)表格形式的行情數(shù)據(jù)的有效獲取和預(yù)測,具有理論價值和實際意義。本文主要針對這一課題開展研究,內(nèi)容如下:(1)提出了Web行情數(shù)據(jù)抽取算法和Web頁特征抽取算法。兩個算法都充分利用了HTML的語法規(guī)則和Web頁設(shè)計規(guī)律。Web行情數(shù)據(jù)抽取算法
2、主要基于“Web行情數(shù)據(jù)通常在網(wǎng)頁中表現(xiàn)為區(qū)域最大的數(shù)據(jù)表格”等規(guī)律,首先自動識別出最大的數(shù)據(jù)表格,然后轉(zhuǎn)換為DOM樹結(jié)構(gòu),最后抽取DOM樹的結(jié)點值。與傳統(tǒng)算法不同,算法無需用戶定義抽取數(shù)據(jù)區(qū)域,實現(xiàn)了自動抽取。為了描述被抽取的頁面,提出了Web頁的元數(shù)據(jù)描述模型及元數(shù)據(jù)提取算法.元數(shù)據(jù)抽取算法充分利用Web頁規(guī)律,通過正則表達式實現(xiàn)了有效抽取。實驗表明,Web行情數(shù)據(jù)抽取算法和元數(shù)據(jù)提取算法均具有較好的性能。(2)開展了Web行情數(shù)據(jù)的預(yù)測研究。行情數(shù)據(jù)預(yù)測需求一般分為長期預(yù)測(一年以上)和短期預(yù)測(一年之內(nèi))。利用Web行情數(shù)據(jù)抽取算法獲取某
3、農(nóng)產(chǎn)品報價數(shù)據(jù)后,針對長期和短期預(yù)測需求,分別運用多個時間序列預(yù)測模型、使用不同的樣本數(shù)據(jù),比較預(yù)測模型和樣本數(shù)據(jù)對預(yù)測性能的影響。實驗表明,長期預(yù)測采用線性季節(jié)模型和長期樣本數(shù)據(jù)的性能較好;短期預(yù)測采用Holter-Winter季節(jié)模型和短期樣本數(shù)據(jù)的性能較好。(3)設(shè)計并實現(xiàn)了一個農(nóng)產(chǎn)品價格預(yù)測原型系統(tǒng)。該系統(tǒng)針對某個農(nóng)產(chǎn)品,自動從特定網(wǎng)站獲取每日價格行情數(shù)據(jù),以圖式顯示指定樣本區(qū)間的價格數(shù)據(jù),并根據(jù)用戶輸入的預(yù)測區(qū)間選擇模型進行價格預(yù)測。關(guān)鍵詞:Web挖掘,Web文本挖掘,Web行情數(shù)據(jù)抽取,時間序列預(yù)測ResearchonMarketDa
4、taExtractionandForecastontheWebABSTRACTWiththerapiddevelopmentofWebtechnology,theWorldWideWebhasbecomethemostcomprehensiveinformationresource,andWebmininghasbecomeahottopicindatamining.TheWebcontainslargeamountsofmarketdataindynamictables.Theextractionandpredictionofsuchdynam
5、icWebdatahaveboththeoreticsignificanceandpracticalapplications.MarketdataextractionandpredictionOiltheWebisstudiedinthisthesis.ThemaincontextisasfoIlows:(1)AmarketdataextractionalgorithmfortheWebandameta-dataextractionalgorithmfromWebpagesareproposed.Theybothmakegreatuseofthe
6、syntaxinHTMLandthedesignprinciplesofWebpages.Takingintoaccountthecommonpracticethat“marketdataareusuallydisplayedinthelargesttableonaWebpage”,themarketdataextractionalgorithmfirstdetectsthelargesttableonaWebpageandthentransfersitintoaDOMtree,andintheendgetsthenodevaluesofthet
7、ree.ThisalgorithmisdifferentfromtraditionalonesinthatitcanautomaticallyextractmarketdataanddoesnotneedadataextractionregiontobespecifiedbytheUSerS.Todescribetheextractedpage,ameta—datadescriptionmodelisdesignedforthemeta—dataextractionalgorithm.Thcmeta—dataextractionalgorithm
8、fullyexploresWebpagestructures,andperformsefficientextractionbyusing