基于模糊聚類的大規(guī)模數(shù)據(jù)聚類算法及其應(yīng)用研究

《基于模糊聚類的大規(guī)模數(shù)據(jù)聚類算法及其應(yīng)用研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、基于模糊聚類的大規(guī)模數(shù)據(jù)聚類算法及其應(yīng)用研究作者姓名楊果利導(dǎo)師姓名、職稱李陽(yáng)陽(yáng)副教授一級(jí)學(xué)科電子科學(xué)與技術(shù)二級(jí)學(xué)科電路與系統(tǒng)申請(qǐng)學(xué)位類別工學(xué)碩士提交畢業(yè)論文日期2014年11月學(xué)校代碼10701學(xué)號(hào)1202120853分類號(hào)TP18密級(jí)公開西安電子科技大學(xué)碩士學(xué)位論文基于模糊聚類的大規(guī)模數(shù)據(jù)聚類算法及其應(yīng)用研究作者姓名：楊果利一級(jí)學(xué)科：電子科學(xué)與技術(shù)二級(jí)學(xué)科：電路與系統(tǒng)學(xué)位類別：工學(xué)碩士學(xué)校導(dǎo)師姓名、職稱：李陽(yáng)陽(yáng)副教授提交日期：2014年11月AStudyofLarge-ScaleDataClusteringBasedonFu

2、zzyClusteringandItsApplicationAthesissubmittedtoXIDIANUNIVERSITYinpartialfulfillmentoftherequirementsforthedegreeofMasterinElectronicScienceandTechnologyByYangGuoliSupervisor:A.P.LiYangyangNovember2014西安電子科技大學(xué)畢業(yè)論文獨(dú)創(chuàng)性（或創(chuàng)新性）聲明秉承學(xué)校嚴(yán)謹(jǐn)?shù)膶W(xué)風(fēng)和優(yōu)良的科學(xué)道德，本人聲明所呈交的論文是我個(gè)人在導(dǎo)師指導(dǎo)下進(jìn)行的研

3、究工作及取得的研究成果。盡我所知，除了文中特別加以標(biāo)注和致謝中所羅列的內(nèi)容以外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果；也不包含為獲得西安電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中做了明確的說明并表示了謝意。學(xué)位論文若有不實(shí)之處，本人承擔(dān)一切法律責(zé)任。本人簽名：日期：西安電子科技大學(xué)關(guān)于論文使用授權(quán)的說明本人完全了解西安電子科技大學(xué)有關(guān)保留和使用學(xué)位論文的規(guī)定，即：研究生在校攻讀學(xué)位期間論文工作的知識(shí)產(chǎn)權(quán)單位屬于西安電子科技大學(xué)。學(xué)校有權(quán)保留送交論文的復(fù)印件

4、，允許查閱、借閱論文；學(xué)?？梢怨颊撐牡娜炕虿糠謨?nèi)容，允許采用影印、縮印或其它復(fù)制手段保存論文。同時(shí)本人保證，獲得學(xué)位后結(jié)合學(xué)位論文研究成果撰寫的文章，署名單位為西安電子科技大學(xué)。保密的學(xué)位論文在年解密后適用本授權(quán)書。本人簽名：導(dǎo)師簽名：日期：日期：摘要摘要隨著現(xiàn)代科技的發(fā)展，人類邁入了信息社會(huì)，各行各業(yè)的信息數(shù)據(jù)呈現(xiàn)爆發(fā)式的增長(zhǎng)。如何從這些海量數(shù)據(jù)中找到真正有用的信息成為人們關(guān)注的熱點(diǎn)。數(shù)據(jù)挖掘（Datamining）技術(shù)是信息決策和數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)的重要工具，聚類技術(shù)便是數(shù)據(jù)挖掘技術(shù)中一個(gè)非常重要的手段。聚類技術(shù)目的是將大

5、量樣本或抽象的數(shù)據(jù)按照相互之間的相似性分成若干個(gè)子集合，從而發(fā)現(xiàn)數(shù)據(jù)的結(jié)構(gòu)，幫助人們更好的了解數(shù)據(jù)之間隱藏的信息。信息科技的進(jìn)步，導(dǎo)致信息規(guī)模增長(zhǎng)越來(lái)越快，樣本包含的特征也越來(lái)越復(fù)雜，很多傳統(tǒng)聚類算法都已無(wú)法應(yīng)對(duì)如此大規(guī)模的數(shù)據(jù)，研究人員將注意力轉(zhuǎn)移到能夠適應(yīng)復(fù)雜海量數(shù)據(jù)的新型算法上。本文將結(jié)合傳統(tǒng)模糊聚類算法并引入流數(shù)據(jù)聚類的概念，提出了針對(duì)海量數(shù)據(jù)的流數(shù)據(jù)聚類模型，使算法能夠適應(yīng)大規(guī)模數(shù)據(jù)集。本文主要工作如下：（1）提出了一種基于傳統(tǒng)點(diǎn)密度加權(quán)FCM聚類算法的適應(yīng)較大規(guī)模手寫數(shù)字圖片識(shí)別的方法。本方法根據(jù)現(xiàn)有流數(shù)據(jù)聚類方法

6、，每次讀取一個(gè)數(shù)據(jù)點(diǎn)，每次循環(huán)只對(duì)一個(gè)點(diǎn)和現(xiàn)有聚類中心計(jì)算隸屬度，根據(jù)隸屬度的最大值來(lái)決定是否令該點(diǎn)直接參與聚類模型的更新。本算法的關(guān)鍵步驟就是設(shè)計(jì)了一個(gè)基于流數(shù)據(jù)的聚類框架，結(jié)合在線k-means算法模型更新方法和點(diǎn)密度加權(quán)的FCM算法，實(shí)現(xiàn)了one-by-one的在線聚類來(lái)進(jìn)行無(wú)監(jiān)督方式的手寫數(shù)字識(shí)別。本算法避免了同時(shí)處理所有數(shù)字圖像數(shù)據(jù)，極大地減輕了大規(guī)模數(shù)據(jù)處理時(shí)對(duì)計(jì)算機(jī)硬件的要求，同時(shí)與現(xiàn)有的分塊的WFCM算法相比，由于大部分點(diǎn)直接參與了聚類模型的更新，減少了調(diào)用WFCM算子的次數(shù)，從而節(jié)省了計(jì)算時(shí)間，降低了時(shí)間的復(fù)

7、雜度，更適合處理規(guī)模較大的手寫數(shù)字圖片數(shù)據(jù)。（2）基于上一部分提出的流數(shù)據(jù)處理框架，提出了一種改進(jìn)的流數(shù)據(jù)處理方法，由于之前提出的算法是基于點(diǎn)密度加權(quán)的FCM算法，雖然該算法根據(jù)數(shù)據(jù)樣本周圍的密度來(lái)給每一個(gè)數(shù)據(jù)點(diǎn)加權(quán)值以突顯出周圍密度較大的特點(diǎn)，一定程度上提高了算法的收斂速度，但這種算法需要給數(shù)據(jù)池中的每一個(gè)點(diǎn)都計(jì)算權(quán)值，這在一定程度上增加了算法的計(jì)算復(fù)雜度。為了避免這種現(xiàn)象，本章我們提出了一種在SPFCM基礎(chǔ)上改進(jìn)的流數(shù)據(jù)聚類算法，這個(gè)算法在上一章中已經(jīng)使用過。這個(gè)算法的基本原理也是給每個(gè)樣本點(diǎn)進(jìn)行加權(quán)，但每個(gè)樣本點(diǎn)的權(quán)值都

8、初始化為1，只有聚類中心的權(quán)值會(huì)不斷增加，每多一個(gè)點(diǎn)對(duì)應(yīng)的聚類中心的權(quán)值就會(huì)增加。這樣在對(duì)后來(lái)進(jìn)入的數(shù)據(jù)塊進(jìn)行聚類時(shí)，這些權(quán)值較大的點(diǎn)就更容易成為聚類中心。（3）對(duì)現(xiàn)有的社區(qū)檢測(cè)算法做了深入研究發(fā)現(xiàn)，社區(qū)檢測(cè)問題和數(shù)據(jù)聚類問題有很多相似的地方，且目前已有很多用聚類手段來(lái)做社區(qū)