面向數(shù)據(jù)流挖掘算法的研究與改進(jìn).pdf

《面向數(shù)據(jù)流挖掘算法的研究與改進(jìn).pdf》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、＇ｉ鐘＇＂：Ｙ巧為；祭薄誠殘貧ＵＶ與齡礙轉(zhuǎn)節(jié)＼；．巧．’＇八；．．辟聲＇ｉ等ｖ吃赴？兵嗦聲；Ｖ蘭＇－．．：密級；、單位代碼＾ｏｍ？，．．．若；．．‘．＼藻某；輯瓜一；讀＂＇、輯：於奪謂嚴(yán)胃．鄭別ｒ?qū)賷Z戀＇齡議－、某說騎交；；聲致窩Ｖ寫；碩女俗女；考皮營像：＃鶴；＿Ｖ．＿禱霉議．．．．．、；．．．＇、／：如?。。f／中：ｉ４舉明．＇＾帥頤扇？．．．．．．：；、；：．嗦屯．＞；心艇滿１壓，父碳緣勢，；．：社感幽；灣シシ旗熟翁、：鶴邊八．起．：．嘴於被等

2、；較ｒ轉(zhuǎn)誠酶、為豕．ｄ．＞．‘—＞其、。心．Ｖ：巧０亢’、－＇－－＇Ｘ＇記：某瓦非．?dāng)?shù)據(jù)流挖掘算法的研究與改進(jìn)論文題目：面向＾換碟滬．．，麵．，轉(zhuǎn)＇＇；＾－＇．．．．片．Ｖ心：Ｖｒｙ為詩：的券證，。為＇—Ｓ？ＶＶＶ氣堂號１２１２０４３０２７；．＇二為．在．：＇‘、．姓名巧．淫＾Ｖ／蘇；轅‘主．Ａ．記，．．．導(dǎo)１１巧室里？．－蔡奔苗聲．古．．．．齡．感祭群＾＇！攀：焉參＾．遊；：專業(yè)學(xué)位類別ＸＭＭ±＿—

3、＿：；１＇＂■＇＾＾■－ｖ－．：．１．Ｉ樂芙型生幸□制’＞＇；．．．供訊來巧圃業(yè)（域）計(jì)專領(lǐng)算概＾醜議養(yǎng)ｐ：去＇二０—五Ｈ曰期月論文提交年也．杳聲！，種雜＼粹：．一懿ｗ：巧說讀和單＇玲＇＾‘＇—．；：．－－，。？．．＾觀心共Ｗ＼北於、．＾：秦戶：哨ｒStudyandImprovementofMiningAlgorithmonDataStreamThesisSubmittedtoNanjingUniversityofPostsandTelec

4、ommunicationsfortheDegreeofMasterofEngineeringByQIANRuiSupervisor:Prof.ZONGPingMarch2015摘要大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘面臨著新的挑戰(zhàn)，大量以數(shù)據(jù)流形式生成的原始信息希望得到即時(shí)準(zhǔn)確地知識發(fā)現(xiàn)和提取。這些信息由于規(guī)模和時(shí)效等方面問題無法全部存入內(nèi)存或外部存儲，因此無法使用傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)對其歸納分析。網(wǎng)絡(luò)環(huán)境下普遍出現(xiàn)的高速數(shù)據(jù)流模型需要一種能夠在有限內(nèi)存中對快速傳輸?shù)臄?shù)據(jù)做出實(shí)時(shí)響應(yīng)的單遍掃描挖掘算法。本文根據(jù)工程項(xiàng)目的應(yīng)用需求

5、，從分析傳統(tǒng)數(shù)據(jù)挖掘和數(shù)據(jù)流挖掘的異同點(diǎn)著手，分析了數(shù)據(jù)流挖掘的背景與不同應(yīng)用模型下的經(jīng)典挖掘算法，進(jìn)而分別從基礎(chǔ)應(yīng)用、權(quán)衡指標(biāo)、抽樣大小和連續(xù)屬性處理等方面研究了基于HoeffdingTrees的決策樹分類算法。最后在平穩(wěn)數(shù)據(jù)流領(lǐng)域，重點(diǎn)針對VFDT經(jīng)典算法對連續(xù)屬性處理不足的問題，從連續(xù)屬性離散化的角度提出了一種改進(jìn)的VFDTCA算法，并采用在連續(xù)屬性最佳分割點(diǎn)的選取上引入Fayyad邊界點(diǎn)原理的方法進(jìn)行算法的優(yōu)化。通過分析和驗(yàn)證，面對含有連續(xù)屬性的平穩(wěn)數(shù)據(jù)流樣本，使用基尼指數(shù)作為權(quán)衡量并引入Fayyad邊

6、界點(diǎn)原理的VFDTCA改進(jìn)算法在構(gòu)造決策樹模型和預(yù)測分類的性能上均有更好的表現(xiàn)。關(guān)鍵詞:數(shù)據(jù)流，數(shù)據(jù)挖掘，分類，決策樹，Hoeffding邊界IABSTRACTDataminingisfacingnewchallengesinBigDataera.Knowledgeneedstobeaccuratelydiscoveredandextractedfromdatastreamsgeneratedbyagrowingnumberofrawdatainstantly.Duetomagnitudeissueandtim

7、eefficiency,theserawdatadonotfitintothememoriesorexternalstoragesanymore.Therefore,traditionaldataminingtechniquecannotbeusedtosumupdatastreamsintodiversityanalyses.Widespreadhigh-speeddatastreammodelrequiresasingle-passminingalgorithmwhichiscapableofhandlin

8、gthefasttransferringdatainalimitedmemorywithareal-timeresponse.Accordingtotheproject'sneeds,thisthesisanalysesthebackgroundofdatastreamminingandclassicalalgorithmsfordifferentminingmodelsbasedon