數(shù)據(jù)挖掘技術(shù)及其應(yīng)用分析.doc

《數(shù)據(jù)挖掘技術(shù)及其應(yīng)用分析.doc》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、數(shù)據(jù)挖掘技術(shù)及其應(yīng)用分析　　摘要：數(shù)據(jù)挖掘是一門新興的數(shù)據(jù)處理技術(shù)，是當前一個熱門的研究領(lǐng)域。數(shù)據(jù)挖掘中應(yīng)用的技術(shù)包括經(jīng)典的統(tǒng)計、聚類，也包括最新發(fā)展起來的決策樹、神經(jīng)網(wǎng)絡(luò)和關(guān)聯(lián)規(guī)則等一些較新的方法。簡要介紹了數(shù)據(jù)挖掘的概念和過程·論述了數(shù)據(jù)挖掘的主要方法，最后對數(shù)據(jù)挖掘的應(yīng)用作了簡要介紹?！　￡P(guān)鍵詞：數(shù)據(jù)挖掘；過程；應(yīng)用　　　　1　數(shù)據(jù)挖掘概念　　　　數(shù)據(jù)挖掘(DataMining，DM)，是隨著數(shù)據(jù)庫和人工智能發(fā)展起來的新興的信息處理技術(shù)。數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道

2、的、但又是潛在有用的信息和知識的過程，其主要特點是對數(shù)據(jù)庫中的大量數(shù)據(jù)進行抽取、轉(zhuǎn)換、分析和其他模型化處理，并從中提取輔助決策的關(guān)鍵性數(shù)據(jù)。它可幫助決策者分析歷史數(shù)據(jù)及當前數(shù)據(jù)，并從中發(fā)現(xiàn)隱藏的關(guān)系和模式，進而預(yù)測未來可能發(fā)生的行為。數(shù)據(jù)挖掘是一門涉及面很廣的交叉性新興學(xué)科，涉及到數(shù)據(jù)庫、人工智能、數(shù)理統(tǒng)計、可視化、并行計算等領(lǐng)域。　　　　2　數(shù)據(jù)挖掘技術(shù)　　　　2.1　關(guān)聯(lián)規(guī)則方法　　關(guān)聯(lián)規(guī)則是一種簡單，實用的分析規(guī)則，描述了一個事物中某些屬性同時出現(xiàn)的規(guī)律和模式，是數(shù)據(jù)挖掘中最成熟的主要技術(shù)之一。大多數(shù)關(guān)聯(lián)規(guī)則挖掘算法能夠無遺漏發(fā)現(xiàn)隱藏在所挖

3、掘數(shù)據(jù)中的所有關(guān)聯(lián)關(guān)系，所挖掘出的關(guān)聯(lián)規(guī)則量往往非常巨大，但是。并不是所有通過關(guān)聯(lián)得到的屬性之間的關(guān)系都有實際應(yīng)用價值，對這些關(guān)聯(lián)規(guī)則進行有效的評價。篩選出用戶真正感興趣的。有意義的關(guān)聯(lián)規(guī)則尤為重要?！　　　?.2　分類和聚類方法　　分類就是假定數(shù)據(jù)庫中的每個對象屬于一個預(yù)先給定的類。從而將數(shù)據(jù)庫中的數(shù)據(jù)分配到給定的類中。而聚類分析是根據(jù)所選樣本間關(guān)聯(lián)的標準將其劃分成幾個組，同組內(nèi)的樣本具有較高的相似度，不同組的則相異。分類和聚類的區(qū)別在于分類事先知道類別數(shù)和各類的典型特征，而聚類則事先不知道。聚類方法適合于探討樣本間的內(nèi)部關(guān)系，從而對樣本結(jié)構(gòu)做

4、出合理的評價?！　　　?.3　數(shù)據(jù)統(tǒng)計方法　　使用這些方法一般首先建立一個數(shù)據(jù)模型或統(tǒng)計模型，然后根據(jù)這種模型提取有關(guān)的知識。傳統(tǒng)的統(tǒng)計學(xué)為數(shù)據(jù)挖掘提供了許多判別和回歸分析方法。貝葉斯推理、回歸分析、方差分析等技術(shù)是許多挖掘應(yīng)用中有力的工具之一?！　　　?.4　神經(jīng)網(wǎng)絡(luò)方法3　　神經(jīng)元網(wǎng)絡(luò)，具有非線形映射特性、信息的分布存儲、并行處理和全局集體的作用、高度的自學(xué)習(xí)、自組織和自適應(yīng)能力的種種優(yōu)點。這些優(yōu)點使得神經(jīng)元網(wǎng)絡(luò)非常適合解決數(shù)據(jù)挖掘的問題。因此近年來越來越受到人們的關(guān)注。典型的神經(jīng)網(wǎng)絡(luò)模型主要分3大類；用于分類、預(yù)測和模式識別的前饋式神經(jīng)網(wǎng)絡(luò)

5、模型；用于聯(lián)想記憶和優(yōu)化計算的反饋式神經(jīng)網(wǎng)絡(luò)模型；用于聚類的自組織映射方法。　　　　2.5　決策樹方法　　決策樹學(xué)習(xí)是一種通過逼近離散值日標函數(shù)的方法，把實例從根結(jié)點排列到某個葉子結(jié)點來分類實例。葉子結(jié)點即為實例所屬的分類，利用信息論中的互信息(信息增益)尋找數(shù)據(jù)庫中具有最大信息量的字段。建立決策樹的一個結(jié)點，再根據(jù)字段的不同取值建立樹的分支；在每個分枝子集中，重復(fù)建立樹的下層結(jié)點和分支的過程，即可建立決策樹?！　　　?.6　粗糙集　　粗糙集(RoughSet)能夠在缺少關(guān)于數(shù)據(jù)先驗知識的情況下，只以考察數(shù)據(jù)的分類能力為基礎(chǔ)，解決模糊或不確定數(shù)據(jù)

6、的分析和處理問題。粗糙集用于從數(shù)據(jù)庫中發(fā)現(xiàn)分類規(guī)則的基本思想是將數(shù)據(jù)庫中的屬性分為條件屬性和結(jié)論屬性，對數(shù)據(jù)庫中的元組根據(jù)備個屬性不同的屬性值分成相應(yīng)的子集，然后對條件屬性劃分的子集與結(jié)論屬性劃分的子集之間上下近似關(guān)系生成判定規(guī)則。粗糙集理論可以應(yīng)用于數(shù)據(jù)挖掘中的分類、發(fā)現(xiàn)不準確數(shù)據(jù)或噪聲數(shù)據(jù)內(nèi)在的結(jié)構(gòu)聯(lián)系?！　?　數(shù)據(jù)挖掘過程　　　　按工作流程包括以下幾個步驟：　　(1)數(shù)據(jù)準備：一般存儲在數(shù)據(jù)庫系統(tǒng)中的是長期積累的大量的數(shù)據(jù)，往往不適合利用這些進行處理，需要做數(shù)據(jù)準備工作，一般包括數(shù)據(jù)的選擇、凈化、推測、轉(zhuǎn)換、數(shù)據(jù)縮減，通過這些工作生成數(shù)據(jù)倉

7、庫。數(shù)據(jù)準備是否做好將影響到數(shù)據(jù)挖掘的效率和準確度以及最終模式的有效性?！　?2)數(shù)據(jù)挖掘：在前面步驟所獲得的數(shù)據(jù)集上進行數(shù)據(jù)挖掘，可以單獨利用也可以綜合利用各種數(shù)據(jù)挖掘方法對數(shù)據(jù)進行分析，根據(jù)數(shù)據(jù)挖掘的目的。選定數(shù)據(jù)挖掘算法，選擇某個特定數(shù)據(jù)挖掘算法(如匯總、分類、回歸、聚類等)用于搜索數(shù)據(jù)中的模式?！　?3)結(jié)果的分析和同化；上面得到的模式模型，有可能是沒有實際意義或沒有使用價值的。因此需要評估，確定哪些是有效的、有用的模式。評估可以根據(jù)用戶多年的經(jīng)驗，有些模式也可以直接用數(shù)據(jù)來檢驗其準確性。對數(shù)據(jù)挖掘出的結(jié)果進行解釋和評價，轉(zhuǎn)換成為能夠最終

8、被用戶理解的知識。其具體的挖掘過程如圖1：　　　　　4　數(shù)據(jù)挖掘的應(yīng)用　　　　4.1　在金融領(lǐng)域中的應(yīng)用3　　多數(shù)銀行和金融機構(gòu)都提供豐