聚類(lèi)技術(shù)的若干問(wèn)題研究

《聚類(lèi)技術(shù)的若干問(wèn)題研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、聚類(lèi)技術(shù)的若干問(wèn)題研究專(zhuān)業(yè)名稱(chēng)：計(jì)算機(jī)應(yīng)用技術(shù)申請(qǐng)人：劉亞瓊指導(dǎo)教師：袁鼎榮教授論文答辯委員會(huì)主席：委員：聚類(lèi)技術(shù)的若干問(wèn)題研究洲IIIIIIIIIIJIIIIII[IIIIIIY2584864研究生姓名：劉亞瓊導(dǎo)師姓名：袁鼎榮教授專(zhuān)業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)研究方向：數(shù)據(jù)挖掘年級(jí)：201l級(jí)摘要聚類(lèi)分析源于數(shù)學(xué)和統(tǒng)計(jì)學(xué)，應(yīng)用于計(jì)算機(jī)科學(xué)、生物學(xué)和經(jīng)濟(jì)學(xué)等領(lǐng)域，它是數(shù)據(jù)挖掘技術(shù)中的經(jīng)典方法，旨在針對(duì)數(shù)據(jù)對(duì)象的特點(diǎn)，基于某種相似性度量標(biāo)準(zhǔn)將數(shù)據(jù)對(duì)象聚集到相應(yīng)的簇中。該方法首先針對(duì)待分類(lèi)數(shù)據(jù)的特點(diǎn)進(jìn)行透徹的分析，并構(gòu)造相似

2、性度量準(zhǔn)則，然后基于相似度設(shè)計(jì)相應(yīng)的聚類(lèi)算法，從而實(shí)現(xiàn)分類(lèi)的目的。雖然聚類(lèi)分析方法在文本分類(lèi)、Web頁(yè)面分類(lèi)、Web用戶(hù)分類(lèi)及空間數(shù)據(jù)分析等問(wèn)題中已取得了成功的應(yīng)用，但不同的應(yīng)用環(huán)境下，各種方法的效果也各不相同。因此本文擬深入討論聚類(lèi)分析方法在多數(shù)據(jù)庫(kù)分類(lèi)及文本分類(lèi)上的應(yīng)用。大型企業(yè)，尤其是跨國(guó)公司，隨著信息技術(shù)的進(jìn)步、自身規(guī)模的發(fā)展和分支機(jī)構(gòu)的擴(kuò)充，積累了越來(lái)越多的事務(wù)數(shù)據(jù)庫(kù)，學(xué)術(shù)界稱(chēng)之為多數(shù)據(jù)庫(kù)。多數(shù)據(jù)庫(kù)不僅包含的數(shù)據(jù)庫(kù)數(shù)目眾多，其中各數(shù)據(jù)庫(kù)所積累的數(shù)據(jù)量也非常龐大，傳統(tǒng)的單一數(shù)據(jù)庫(kù)挖掘技術(shù)已無(wú)法滿(mǎn)足多數(shù)據(jù)

3、庫(kù)挖掘的需要。事實(shí)證明先對(duì)多數(shù)據(jù)庫(kù)分類(lèi)再按類(lèi)挖掘模式的方法是目前最有效的挖掘策略，因此多數(shù)據(jù)庫(kù)分類(lèi)己成為聚類(lèi)分析所需解決的新的技術(shù)問(wèn)題。本文針對(duì)多數(shù)據(jù)庫(kù)中數(shù)據(jù)對(duì)象的特點(diǎn)，基于當(dāng)前的研究基礎(chǔ)，構(gòu)造了新的優(yōu)秀度衡量標(biāo)準(zhǔn)，并設(shè)計(jì)了相應(yīng)的聚類(lèi)算法。文本是廣為使用的信息載體，文本信息處理是一種涵蓋了統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、模式識(shí)別及數(shù)據(jù)挖掘等技術(shù)的多學(xué)科綜合研究領(lǐng)域。由于文本數(shù)量的龐大，最有效的挖掘方法是先對(duì)文本進(jìn)行分類(lèi)，然后以類(lèi)為單位挖掘模式，因此，文本分類(lèi)已成為文本信息處理中的一項(xiàng)重要課題。文本是詞的集合，在某種程度上，文

4、本中的詞等同于事務(wù)數(shù)據(jù)庫(kù)中的事務(wù)項(xiàng)，因此文本數(shù)據(jù)對(duì)象與多數(shù)據(jù)庫(kù)數(shù)據(jù)對(duì)象有著內(nèi)在的關(guān)聯(lián)，多數(shù)據(jù)庫(kù)分類(lèi)中所建立的聚類(lèi)策略可以映射到文本分類(lèi)問(wèn)題上。研究過(guò)程中，首先詳細(xì)了解了聚類(lèi)分析方法的技術(shù)基礎(chǔ)，深入研究了多數(shù)據(jù)庫(kù)和文本挖掘的理論知識(shí)；然后根據(jù)多數(shù)據(jù)庫(kù)數(shù)據(jù)對(duì)象的特征，構(gòu)造了新的聚類(lèi)優(yōu)秀度評(píng)價(jià)標(biāo)準(zhǔn)，并將這一標(biāo)準(zhǔn)類(lèi)推到文本分類(lèi)中；最后分別針對(duì)多數(shù)據(jù)庫(kù)和文本對(duì)象設(shè)計(jì)了相應(yīng)的聚類(lèi)算法，并用實(shí)驗(yàn)證明了算法的有效性。主要研究?jī)?nèi)容如下：(1)在現(xiàn)有多數(shù)據(jù)庫(kù)聚類(lèi)算法的基礎(chǔ)上，提出了改進(jìn)方法。雖然多數(shù)據(jù)庫(kù)聚類(lèi)算法已取得一定的成果，但

5、目前的方法仍可能在選擇最優(yōu)聚類(lèi)的過(guò)程中錯(cuò)過(guò)真正的最優(yōu)結(jié)果。對(duì)于這種情況，我們?cè)诂F(xiàn)有算法的基礎(chǔ)上提出了一種改進(jìn)方法，旨在得到完全的候選聚類(lèi)集合，并在人工數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明該算法能得到更優(yōu)秀的聚類(lèi)，但是算法的時(shí)間復(fù)雜度相對(duì)較高，適用于精度要求較高的分類(lèi)環(huán)境。(2)設(shè)計(jì)了一種基于PAntSC‘算法的多數(shù)據(jù)庫(kù)聚類(lèi)方法PAntSC*算法己被應(yīng)用在文本分類(lèi)中，但需要事先提供目標(biāo)類(lèi)別的個(gè)數(shù)，本文在PAntSC*算法基礎(chǔ)上進(jìn)行了改進(jìn)，并應(yīng)用于多數(shù)據(jù)庫(kù)分類(lèi)問(wèn)題上。聚類(lèi)過(guò)程中，我們首先根據(jù)各數(shù)據(jù)庫(kù)的輪廓系數(shù)建立數(shù)據(jù)庫(kù)聚類(lèi)

6、序列￡，然后基于改進(jìn)的PAntSC*算法將數(shù)據(jù)庫(kù)依次聚集到相應(yīng)的類(lèi)別中，最后根據(jù)結(jié)果評(píng)價(jià)標(biāo)準(zhǔn)確定最優(yōu)聚類(lèi)。該方法避免了Huffman算法需要事先指定類(lèi)別數(shù)量的局限性，應(yīng)用性能較強(qiáng)。(3)提出了一種基于Huffman樹(shù)思想的文本聚類(lèi)算法文本是句子的集合，句子由“詞”構(gòu)成，事務(wù)數(shù)據(jù)庫(kù)是記錄的集合，記錄由事務(wù)項(xiàng)構(gòu)成，因此文本分類(lèi)和多數(shù)據(jù)庫(kù)分類(lèi)中的數(shù)據(jù)對(duì)象間存在著內(nèi)在的關(guān)聯(lián)。我們利用在多數(shù)據(jù)庫(kù)分類(lèi)中所積累的技術(shù)方法，針對(duì)文本數(shù)據(jù)的特性，構(gòu)造了新的文本相似性度量準(zhǔn)則，提出了基于Huffman樹(shù)思想的文本聚類(lèi)算法，并根據(jù)優(yōu)

7、秀度評(píng)價(jià)標(biāo)準(zhǔn)篩選出最優(yōu)的聚類(lèi)結(jié)果。針對(duì)我們所提出的方法，在中文分類(lèi)語(yǔ)料庫(kù)上進(jìn)行了實(shí)驗(yàn)，雖然得到的結(jié)果并不是最理想的，但證明了該文本聚類(lèi)算法的可行性。本文針對(duì)聚類(lèi)分析方法在多數(shù)據(jù)庫(kù)和文本分類(lèi)上的應(yīng)用展開(kāi)了研究，提出了三種聚類(lèi)算法，并通過(guò)實(shí)驗(yàn)驗(yàn)證了算法的可行性。本課題所探討的問(wèn)題理論上夯實(shí)了聚類(lèi)技術(shù)基礎(chǔ)，應(yīng)用上為多數(shù)據(jù)庫(kù)分類(lèi)和文本分類(lèi)提出了新的聚類(lèi)方法。關(guān)鍵詞：數(shù)據(jù)挖掘：聚類(lèi)分析：多數(shù)據(jù)庫(kù)聚類(lèi)；文本聚類(lèi)：PAntSC+：Huffman樹(shù)AnalysisCandidate：LiuMajor：ComputerAppli

8、cationoftheClusteringTechnologyYaqiongSupervisor：Prof．YuanDingrongTechnologyReasearchArea：DataMiningGrade：201AbstractClusteringtechnique，acombinationofmathematicsandstatistics，isappliedinthefiel