資源描述：
《考慮數(shù)據(jù)分布的K-均值聚類研究.doc》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。
1、附件2論文中英文摘要作者姓名：吳俊杰論文題目：考慮數(shù)據(jù)分布的K?均值聚類研究作者簡介：吳俊杰，男，1979年7月出生，2002年9月師從于清華大學(xué)陳劍教授，于2008年1月獲博士學(xué)位。中文摘要1…商務(wù)智能通常被理解為將企業(yè)中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識，幫助企業(yè)做岀明智的業(yè)務(wù)經(jīng)營I??I決策的工具。數(shù)據(jù)挖掘是商務(wù)智能的核心技術(shù)之一。實(shí)踐表明，數(shù)據(jù)挖掘已經(jīng)被廣泛應(yīng)用于II客戶細(xì)分和客戶行為分析、冃標(biāo)市場定位、金融價(jià)格預(yù)測和風(fēng)險(xiǎn)管理、工作流管理、欺詐檢Ii測等商業(yè)領(lǐng)域，對企業(yè)的決策支持、成本管理、組織協(xié)同等提供了極大的幫助。隨著信息搜iIIi索、電子商務(wù)和Web2.0的迅猛發(fā)展，數(shù)據(jù)挖掘?qū)?/p>
2、為信息抽取、管理與使用發(fā)揮更大的作用，I?I聚類分析是數(shù)據(jù)挖掘研究的重要子領(lǐng)域。聚類分析為探索未知的數(shù)據(jù)結(jié)構(gòu)提供幫助，并II能成為一系列數(shù)據(jù)分析的起點(diǎn)。聚類分析已長時(shí)間在市場營銷、生產(chǎn)監(jiān)測、信息檢索與分類I
3、等商業(yè)領(lǐng)域發(fā)揮重要作用。在聚類分析的眾多算法中，K-均值算法因其簡單、高效、魯棒、
4、；數(shù)據(jù)適應(yīng)性強(qiáng)等優(yōu)點(diǎn)得到了非常廣泛的應(yīng)用。許多文獻(xiàn)已經(jīng)對K-均值算法的特點(diǎn)進(jìn)行了深入:??I研究，并針對海量數(shù)據(jù)、高維數(shù)據(jù)、流式數(shù)據(jù)、噪聲數(shù)據(jù)等現(xiàn)實(shí)問題提出了許多改進(jìn)方法。II然而，無論從理論、算法還是實(shí)踐層而，考慮到商務(wù)實(shí)踐中大量數(shù)據(jù)的不均衡分布特征，仍Ii有很多極具挑戰(zhàn)性的問題亟待解決：
5、iII；■是否所有適于K-均值聚類的距離函數(shù)都具有統(tǒng)一的泛化形式？；??
6、-是否數(shù)據(jù)的不均衡分布會對K-均值聚類帶來不利影響？
7、
8、-如何在數(shù)據(jù)不均衡分布的情況下對K-均值聚類結(jié)果進(jìn)行客觀評價(jià)？
9、
10、-能否利用K-均值算法這樣的無監(jiān)督學(xué)習(xí)去提高有監(jiān)督學(xué)習(xí)一一如數(shù)據(jù)分布極端不平衡
11、；的稀有類分析問題一一的績效？：I?
12、有鑒于此，本文圍繞商務(wù)智能中廣泛使用的聚類分析方法一一K-均值算法，在考慮數(shù)據(jù)
13、1不均衡分布的統(tǒng)一框架下，做了如下工作：1??IIII一、K-均值算法距離函數(shù)的泛化理論研究；??II
14、我們對所有適于K-均值算法的距離函數(shù)進(jìn)行泛化，提出一個(gè)新的概念：K-均值距離
15、■:（K
16、-meansdistance）。該距離具有統(tǒng)一的形式，核心要素是其中的一個(gè)凸函數(shù)；通過使用不：:;同的凸函數(shù)，可以得到一族K-均值距離。包括平方歐幾里德距離、KL散度、余弦相似度等為1I?i人熟知的接近度函數(shù)，都是K-均值距離的特例。我們嚴(yán)格證明了，K-均值距離適用于K-均值iII
17、聚類；而在一定的假設(shè)條件下，K-均值距離也是適用于K-均值聚類的唯一距一離函數(shù)。提出這
18、
19、么一個(gè)泛化的距離函數(shù)是非常有益的，這主要體現(xiàn)在：1）有助于我們把握適于K-均值聚類
20、
21、的距離函數(shù)的共同特點(diǎn)，從而能夠從本質(zhì)上認(rèn)識K-均值聚類的某些獨(dú)特性質(zhì)，如第三部分研
22、1究的“均勻效應(yīng)”；2）有助于我們從一個(gè)
23、較高的層面來考察以及改進(jìn)傳統(tǒng)的K-均值算法，如iII
24、第二部分利用SBIL解決K-均值算法無法在稀疏數(shù)據(jù)上直接計(jì)算KL散度的問題。（相關(guān)研究
25、:;發(fā)表于ICDM2007ri11）ii二、SBIL算法的設(shè)計(jì)與應(yīng)用研究i■I?I
26、我們基于K-均值距離對傳統(tǒng)的K-均值目標(biāo)函數(shù)進(jìn)行了簡化，并基于簡化的目標(biāo)函數(shù)設(shè)計(jì)
27、i了一個(gè)新穎的增量學(xué)習(xí)算法：SBILoSBIL仍然具有K-均值算法高效運(yùn)算的特點(diǎn)，但無需直接
28、:計(jì)算數(shù)據(jù)與簇心的K-均值距離，這對于Info-K-means(基于KL散度的K-均值算法)是至關(guān)i
29、重要的。一直以來，由于在稀疏數(shù)據(jù)上計(jì)算KL散度會出現(xiàn)分母為零的情況，Info-K
30、-means］
31、被認(rèn)為在文木數(shù)據(jù)上比SphericalK-means(基于余弦相似度的K-均值算法)的聚類效果差J［然而，利用SBIL只需計(jì)算各簇心的某個(gè)凸函數(shù)值這一特點(diǎn)，我們可以巧妙地繞開KL散度的
32、1直接計(jì)算，為Info-K-means的實(shí)踐應(yīng)用奠定了基礎(chǔ)。我們在大量的高維文木數(shù)據(jù)上進(jìn)行了實(shí)If1i驗(yàn)。實(shí)驗(yàn)結(jié)果表明：1)直接計(jì)算KL散度的確給Info-K-means分配數(shù)據(jù)對象帶來了困難，模
33、j擬退火(annealing)和更新策略的改變沒有實(shí)質(zhì)性地提高Info-K-means的聚類效果；2)對］I數(shù)據(jù)的光滑處理可以部分地提高Info-K-means的聚類績效，但由于數(shù)據(jù)的
34、稀疏性被改變，而I?I［且光滑參數(shù)的設(shè)置缺乏規(guī)律性，因此在實(shí)踐中很難取得令人滿意的效果；3)基于SBIL的1??
35、Info-K-means顯示出了優(yōu)良的聚類性能，其在大量數(shù)據(jù)集上的聚類效果不遜于甚至稍強(qiáng)于目
36、:前最好的高維數(shù)據(jù)聚類工具CLUTO實(shí)現(xiàn)的SphericalK-meanso(相關(guān)研究發(fā)表于KDD200891)i!
37、t
38、fII三、數(shù)據(jù)分布對K-均值算法的影響研究!?II?
39、我們研究了K-均值算法與數(shù)據(jù)分布的關(guān)系。我們發(fā)現(xiàn)，在一定條件下(如各類中心比較
40、〔接近、數(shù)據(jù)集的可聚類性不是非常
