資源描述:
《基于投影數(shù)組和加權(quán)fp-tree的頻繁項(xiàng)集挖掘算法研究》由會員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、工學(xué)碩士學(xué)位論文基于投影數(shù)組和加權(quán)FP-tree的頻繁項(xiàng)集挖掘算法研究曹海燕燕山大學(xué)2010年12月萬方數(shù)據(jù)國內(nèi)圖書分類號:TP311.131國際圖書分類號:621.3工學(xué)碩士學(xué)位論文基于投影數(shù)組和加權(quán)FP-tree的頻繁項(xiàng)集挖掘算法研究碩士研究生:曹海燕導(dǎo)師:何海濤教授申請學(xué)位級別:工學(xué)碩士學(xué)科、專業(yè):計(jì)算機(jī)軟件與理論所在單位:信息科學(xué)與工程學(xué)院授予學(xué)位單位:燕山大學(xué)萬方數(shù)據(jù)ClassifiedIndex:TP311.131U.D.C.:621.3DissertationfortheMasterDegreeinEngineerin
2、gRESEARCHONFREQUENTITEMSETSALGORITHMBASEDONPROJECTIONARRAYANDFP-TREECandidate:CaoHaiyanSupervisor:Prof.HeHaitaoAcademicDegreeAppliedfor:MasterofEngineeringSpeciality:ComputerSoftwareandTheoryUniversity:YanshanUniversity萬方數(shù)據(jù)燕山大學(xué)碩士學(xué)位論文原創(chuàng)性聲明本人鄭重聲明:此處所提交的碩士學(xué)位論文《基于投影數(shù)組和加權(quán)FP
3、-tree的頻繁項(xiàng)集挖掘算法研究》,是本人在導(dǎo)師指導(dǎo)下,在燕山大學(xué)攻讀碩士學(xué)位期間獨(dú)立進(jìn)行研究工作所取得的成果。據(jù)本人所知,論文中除已注明部分外不包含他人已發(fā)表或撰寫過的研究成果。對本文的研究工作做出重要貢獻(xiàn)的個人和集體,均已在文中以明確方式注明。本聲明的法律結(jié)果將完全由本人承擔(dān)。作者簽字日期:年月日燕山大學(xué)碩士學(xué)位論文使用授權(quán)書《基于投影數(shù)組和加權(quán)FP-tree的頻繁項(xiàng)集挖掘算法研究》系本人在燕山大學(xué)攻讀碩士學(xué)位期間在導(dǎo)師指導(dǎo)下完成的碩士學(xué)位論文。本論文的研究成果歸燕山大學(xué)所有,本人如需發(fā)表將署名燕山大學(xué)為第一完成單位及相關(guān)人員。
4、本人完全了解燕山大學(xué)關(guān)于保存、使用學(xué)位論文的規(guī)定,同意學(xué)校保留并向有關(guān)部門送交論文的復(fù)印件和電子版本,允許論文被查閱和借閱。本人授權(quán)燕山大學(xué),可以采用影印、縮印或其他復(fù)制手段保存論文,可以公布論文的全部或部分內(nèi)容。保密□,在年解密后適用本授權(quán)書。本學(xué)位論文屬于不保密□。(請?jiān)谝陨舷鄳?yīng)方框內(nèi)打“√”)作者簽名:日期:年月日導(dǎo)師簽名:日期:年月日萬方數(shù)據(jù)摘要頻繁項(xiàng)集挖掘是數(shù)據(jù)挖掘領(lǐng)域中一個比較關(guān)鍵的問題。然而,從大型稠密數(shù)據(jù)集中挖掘頻繁項(xiàng)集存在三個主要的瓶頸問題:第一,算法的挖掘效率不是很高;第二,產(chǎn)生的頻繁項(xiàng)集的數(shù)量太多;第三,沒有采
5、用合理的約束思想,不能有效的挖掘用戶興趣模式。本文針對這些問題,將研究重點(diǎn)放在頻繁項(xiàng)集挖掘算法上,其研究成果可廣泛應(yīng)用于客戶購買行為模式預(yù)測、序列分析和軟件安全分析等領(lǐng)域。首先,本文提出了基于投影數(shù)組的頻繁項(xiàng)集挖掘算法MFIPA。基于垂直和水平混合數(shù)據(jù)格式,通過交集操作找到與單個頻繁項(xiàng)共同發(fā)生的項(xiàng)集,產(chǎn)生投影數(shù)組PArray;然后,通過單個頻繁項(xiàng)與其投影的非空子集合并及深度優(yōu)先搜索策略的使用,挖掘所有的頻繁項(xiàng)集。其次,為了減少頻繁項(xiàng)集的數(shù)量,設(shè)計(jì)了一個新穎的頻繁閉項(xiàng)集挖掘算法FCIL-Mine?;谕队皵?shù)組,首先提出了頻繁閉項(xiàng)集框架
6、數(shù)據(jù)結(jié)構(gòu)FCIL,該框架主要是用來存儲頻繁閉項(xiàng)集的一些信息。然后,通過哈希檢測和包含檢測剪枝策略的使用,進(jìn)而挖掘所有的頻繁閉項(xiàng)集。最后,提出了一個基于加權(quán)FP-tree及長度遞減支持度約束的加權(quán)頻繁項(xiàng)集挖掘算法LWFI-Mine。該算法可以有效的挖掘滿足用戶興趣的項(xiàng)集。首先通過掃描數(shù)據(jù)庫,構(gòu)造數(shù)據(jù)結(jié)構(gòu)加權(quán)FP-tree。然后提出加權(quán)最小有效擴(kuò)展性質(zhì)WSVE及基于此性質(zhì)的三種剪枝策略:事務(wù)剪枝、結(jié)點(diǎn)剪枝和路徑剪枝,縮小了FP-tree的搜索空間,進(jìn)而挖掘所有滿足約束的頻繁項(xiàng)集。本文使用C++語言對上述算法進(jìn)行實(shí)現(xiàn),采用稀疏的人工數(shù)據(jù)集
7、T40I10D100K和稠密的真實(shí)數(shù)據(jù)集Connect進(jìn)行頻繁項(xiàng)集挖掘?qū)嶒?yàn)研究。關(guān)鍵詞頻繁項(xiàng)集;頻繁閉項(xiàng)集;投影數(shù)組;長度遞減支持度約束;權(quán)值約束;深度優(yōu)先搜索I萬方數(shù)據(jù)AbstractFrequentitemsetsminingisacrucialprobleminthefieldofdatamining.Buttherearethreemaindifficultproblemswhenminingfrequentitemsetsfromlargedensedatabase.First,theefficiencyofalgorit
8、hmsisnotveryhigh;Second,largenumbersoffrequentitemsetswillbegenerated;Third,fewalgorithmsrefertothereasonableconstrai