資源描述：
《基于抽樣的分布式關(guān)聯(lián)規(guī)則挖掘算法》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、鄭州大學(xué)碩士學(xué)位論文基于抽樣的分布式關(guān)聯(lián)規(guī)則挖掘算法姓名：李梅花申請學(xué)位級別：碩士專業(yè)：計算機軟件與理論指導(dǎo)教師：王黎明20060501鄭州人學(xué)壩I‘學(xué)位論史摘要數(shù)據(jù)挖掘是指從巨量數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程，其目的就是要從大量數(shù)據(jù)中找出有意義的模式，因此具有』“泛的應(yīng)用價值。在數(shù)據(jù)挖掘的研究中，如何高效的發(fā)現(xiàn)滿足用戶要求的關(guān)聯(lián)規(guī)則已經(jīng)成為?個核心問題。抽樣是指選取給定數(shù)據(jù)庫D的隨機樣本s，在s中而不是在D中進行數(shù)據(jù)挖掘。抽樣方法比較適合于對大型數(shù)據(jù)庫的挖掘。分布式情況下，各站點擁有的數(shù)據(jù)量較大時，可以采用抽樣方法在
2、各站點隨機抽樣獲得樣本集，將這些隨機樣本的挖掘結(jié)果作為對整個分布式數(shù)據(jù)庫挖掘的結(jié)果．提高挖掘的效率。動態(tài)項集計數(shù)技術(shù)將數(shù)據(jù)庫劃分為標記開始點的塊，不像A謝。州又在每次掃描之前確定新的候選，在這種變形中，可以在任何開始點添加新的候選集。該技術(shù)動態(tài)地評估已被計數(shù)的所有項集的支持度，如果一個項集的所有子集已被確定為頻繁的，則添加它作為新的候選，結(jié)果算法需要的數(shù)據(jù)庫掃描比Apriori少，減輕了I／o負載，提高了挖掘的效率。影響分布式數(shù)據(jù)挖掘效率的主要因素是分布式數(shù)據(jù)庫中各節(jié)點問的通信量。元學(xué)習(xí)的概念是由Prodromidis等人于2000年首先提出的，該方法采
3、用集成學(xué)習(xí)(eIlselIlbleleanlin曲的方式來生成最終的全局預(yù)測模型。其優(yōu)點在于：在基學(xué)習(xí)階段，各個結(jié)點可以自主地選擇合適的學(xué)習(xí)算法來生成局部的基分類器(basedassmcrs)與此同時各結(jié)點問不存在任何通訊與同步開銷，因此系統(tǒng)中各結(jié)點問的通信量較少，效率較高。山二元關(guān)系導(dǎo)出的概念格作為～種非常有用的形式化工具，體現(xiàn)了概念內(nèi)涵和外延的統(tǒng)一，反映了對象和特征嵋J的聯(lián)系以及概念的泛化與例化關(guān)系。在挖掘規(guī)則知識過程中，規(guī)則本身是用內(nèi)涵集之間的關(guān)系來描述，而體現(xiàn)于相應(yīng)外延集之刪的包含關(guān)系。而由于概念格節(jié)點之問的關(guān)系體現(xiàn)了概念之間泛化和例化關(guān)系，因此
4、非常適合作為規(guī)則發(fā)現(xiàn)的纂礎(chǔ)性數(shù)據(jù)結(jié)構(gòu)。本文詳細介紹了關(guān)聯(lián)規(guī)則挖掘的基本概念和相關(guān)技術(shù)，結(jié)合動態(tài)項集計數(shù)和抽樣的思想，利用元學(xué)習(xí)策略來產(chǎn)，之頻繁項集，提出了一個分布式關(guān)聯(lián)規(guī)則挖掘鄭州人學(xué)頌J．學(xué)位論文算法DAsM；引進了相似度的概念，并用之提高了挖掘結(jié)果的精確度。理論分析以及實驗均表明，DASM算法具有較高的挖掘效率和較低的通信量，適用于對效率要求較高的應(yīng)用領(lǐng)域。此外，介紹了概念格和關(guān)聯(lián)規(guī)則發(fā)現(xiàn)之間的關(guān)系，描述了對于分布式環(huán)境下利用概念格理論、抽樣方法進行關(guān)聯(lián)規(guī)則提取的解決方法，并給出了一個利用概念格提取無冗余關(guān)聯(lián)規(guī)則的分布式算法DSCL算法。我們的創(chuàng)新點
5、在于：1．將動態(tài)項集計數(shù)方法和抽樣方法相結(jié)合，解決了關(guān)聯(lián)規(guī)則挖掘算法I／o負載過重的問題，可以很好地滿足對效率比完備性要求更高的應(yīng)用領(lǐng)域的需要。2．在分布式算法中，使用元學(xué)習(xí)分布式策略，使分布式挖掘規(guī)則的過程中的通信量僅和產(chǎn)生的頻繁項集個數(shù)相關(guān)，減少了分布式系統(tǒng)中各站點問的通信量，解決了目前分布式算法通信量較大的問題。3．將概念格和抽樣方法相結(jié)合，利用概念格的特性避免了在發(fā)現(xiàn)規(guī)則的過程中需要多次掃描數(shù)據(jù)庫的問題，并使用抽樣方法減少了數(shù)據(jù)量，進一步減少了I，o負載，提高了算法的挖掘效率。另外，應(yīng)用概念格內(nèi)涵縮減的性質(zhì)可以得到無冗余的關(guān)聯(lián)規(guī)則，解決了分布式算
6、法生成規(guī)則冗余較大的問題。4．引入了相似度的定義，并且用之提高了使用抽樣進行關(guān)聯(lián)規(guī)則挖掘的精確度。關(guān)鍵詞：分布式關(guān)聯(lián)規(guī)則挖掘，抽樣，元學(xué)習(xí)，相似度，概念格II鄭州人學(xué)壩I‘學(xué)位論文ABSTRACTDataMiningisanonmvialpmcessingoffindingpattemsf硒mverylargedal，lbase．111eSepattemsarce毹diVe，noVel，potentialusc徹and印prehensible．TheobjectofDMisto矗ndsi嘶ficativepattemsinlargcdatacollect
7、ions，soithasextensiVeapplicdcost．InthesttldyofDataMin舀ithaSbeenacorcisSuehowtofindtheasSociate九Ilest11砒satjs母tlsefs’necde伍cjentlyChoosingtherandoms姐IpleS舶mmedatab船eD，s鋤plingistheprocessionofminmgintlles鋤plesinsteadofinthedatab器eD．S枷plingmemodissuitablef-ortlleminingtola唱edatab船e．
8、hldis砸butiVecase，wh饑thedataVolumepossess
