《數(shù)據(jù)挖掘概述 》ppt課件

《《數(shù)據(jù)挖掘概述 》ppt課件》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第11章數(shù)據(jù)挖掘概述Chapter11IntroductiontoDataMining徐從富(CongfuXu),PhD,Asso.Professor浙江大學(xué)人工智能研究所2005年5月17日第一稿2006年10月30日第二次修改浙江大學(xué)研究生《人工智能》課件內(nèi)容提綱數(shù)據(jù)挖掘介紹數(shù)據(jù)挖掘系統(tǒng)數(shù)據(jù)挖掘算法國際會議和期刊課后研讀的論文主要參考資料數(shù)據(jù)挖掘介紹數(shù)據(jù)挖掘的由來數(shù)據(jù)挖掘的應(yīng)用基本概念區(qū)分?jǐn)?shù)據(jù)挖掘基本內(nèi)容數(shù)據(jù)挖掘基本特征數(shù)據(jù)挖掘的其他主題數(shù)據(jù)挖掘的由來背景網(wǎng)絡(luò)之后的下一個(gè)技術(shù)熱點(diǎn)數(shù)據(jù)爆炸但知識貧乏從商業(yè)數(shù)據(jù)到商業(yè)信息的進(jìn)化背景人類已進(jìn)入一個(gè)嶄新的信息時(shí)代數(shù)據(jù)庫中存儲的數(shù)據(jù)量急劇膨

2、脹需要從海量數(shù)據(jù)庫和大量繁雜信息中提取有價(jià)值的知識，進(jìn)一步提高信息的利用率產(chǎn)生了一個(gè)新的研究方向：基于數(shù)據(jù)庫的知識發(fā)現(xiàn)（KnowledgeDiscoveryinDatabase），以及相應(yīng)的數(shù)據(jù)挖掘（DataMining）理論和技術(shù)的研究隨著大數(shù)據(jù)庫的建立和海量數(shù)據(jù)的不斷涌現(xiàn)，必然提出對強(qiáng)有力的數(shù)據(jù)分析工具的迫切需求。但現(xiàn)實(shí)情況往往是“數(shù)據(jù)十分豐富，而信息相當(dāng)貧乏?！笨焖僭鲩L的海量數(shù)據(jù)收集、存放在大型數(shù)據(jù)庫中，沒有強(qiáng)有力的工具，理解它們已經(jīng)遠(yuǎn)遠(yuǎn)超出人的能力。因此，有人稱之為：“數(shù)據(jù)墳?zāi)埂?。由于專家系統(tǒng)工具過分依賴用戶或?qū)＜胰斯さ貙⒅R輸入知識庫中，而且分析結(jié)果往往帶有偏差和錯誤，再加

3、上耗時(shí)、費(fèi)用高，故不可行。數(shù)據(jù)礦山信息金塊數(shù)據(jù)挖掘工具網(wǎng)絡(luò)之后的下一個(gè)技術(shù)熱點(diǎn)大量信息在給人們帶來方便的同時(shí)也帶來了一大堆問題：信息過量，難以消化信息真假難以辨識信息安全難以保證信息形式不一致，難以統(tǒng)一處理數(shù)據(jù)爆炸但知識貧乏隨著數(shù)據(jù)庫技術(shù)的迅速發(fā)展以及數(shù)據(jù)庫管理系統(tǒng)的廣泛應(yīng)用，人們積累的數(shù)據(jù)越來越多。目前的數(shù)據(jù)庫系統(tǒng)可以高效地實(shí)現(xiàn)數(shù)據(jù)的錄入、查詢、統(tǒng)計(jì)等功能，但無法發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)系和規(guī)則，無法根據(jù)現(xiàn)有的數(shù)據(jù)預(yù)測未來的發(fā)展趨勢。缺乏挖掘數(shù)據(jù)背后隱藏的知識的手段，導(dǎo)致了“數(shù)據(jù)爆炸但知識貧乏”的現(xiàn)象。從商業(yè)數(shù)據(jù)到商業(yè)信息的進(jìn)化進(jìn)化階段商業(yè)問題支持技術(shù)產(chǎn)品廠家產(chǎn)品特點(diǎn)數(shù)據(jù)搜集(60年代)

4、“過去五年中我的總收入是多少？”計(jì)算機(jī)、磁帶和磁盤IBMCDC提供歷史性的、靜態(tài)的數(shù)據(jù)信息數(shù)據(jù)訪問(80年代)“在新英格蘭的分部去年三月的銷售額是多少？”關(guān)系數(shù)據(jù)庫(RDBMS)結(jié)構(gòu)化查詢語言(SQL)ODBCOracleSybaseInformixIBMMicrosoft在記錄級提供歷史性的、動態(tài)數(shù)據(jù)信息數(shù)據(jù)倉庫決策支持(90年代)“在新英格蘭的分部去年三月的銷售額是多少？波士頓據(jù)此可得出什么結(jié)論？”聯(lián)機(jī)分析處理(OLAP)多維數(shù)據(jù)庫數(shù)據(jù)倉庫PilotComshareArborCognosMicrostrategy在各種層次上提供回溯的、動態(tài)的數(shù)據(jù)信息數(shù)據(jù)挖掘（正在流行）“下個(gè)月

5、波士頓的銷售會怎么樣？為什么？”高級算法多處理器計(jì)算機(jī)海量數(shù)據(jù)庫PilotLockheedIBMSGI其他初創(chuàng)公司提供預(yù)測性的信息KDD的出現(xiàn)基于數(shù)據(jù)庫的知識發(fā)現(xiàn)（KDD）一詞首次出現(xiàn)在1989年舉行的第十一屆AAAI學(xué)術(shù)會議上。1995年在加拿大蒙特利爾召開了第一屆KDD國際學(xué)術(shù)會議（KDD’95）。由KluwersPublishers出版，1997年創(chuàng)刊的《KnowledgeDiscoveryandDataMining》是該領(lǐng)域中的第一本學(xué)術(shù)刊物。數(shù)據(jù)挖掘數(shù)據(jù)庫技術(shù)統(tǒng)計(jì)學(xué)高性能計(jì)算人工智能機(jī)器學(xué)習(xí)可視化數(shù)據(jù)挖掘是多學(xué)科的產(chǎn)物KDD已經(jīng)成為人工智能研究熱點(diǎn)目前，關(guān)于KDD的研究工作

6、已經(jīng)被眾多領(lǐng)域所關(guān)注，如過程控制、信息管理、商業(yè)、醫(yī)療、金融等領(lǐng)域。作為大規(guī)模數(shù)據(jù)庫中先進(jìn)的數(shù)據(jù)分析工具，KDD的研究已經(jīng)成為數(shù)據(jù)庫及人工智能領(lǐng)域研究的一個(gè)熱點(diǎn)。數(shù)據(jù)挖掘的應(yīng)用電信：流失銀行：聚類（細(xì)分）,交叉銷售百貨公司/超市：購物籃分析（關(guān)聯(lián)規(guī)則）保險(xiǎn)：細(xì)分，交叉銷售，流失（原因分析）信用卡：欺詐探測，細(xì)分電子商務(wù)：網(wǎng)站日志分析稅務(wù)部門：偷漏稅行為探測警察機(jī)關(guān)：犯罪行為分析醫(yī)學(xué)：醫(yī)療保健英國電信需要發(fā)布一種新的產(chǎn)品，需要通過直郵的方式向客戶推薦這種產(chǎn)品。。。。。。使直郵的回應(yīng)率提高了100％電信GUS日用品零售商店需要準(zhǔn)確的預(yù)測未來的商品銷售量，降低庫存成本。。。。。。通過數(shù)據(jù)挖

7、掘的方法使庫存成本比原來減少了3.8%零售商店美國國內(nèi)稅務(wù)局需要提高對納稅人的服務(wù)水平。。。。。。合理安排稅務(wù)官的工作，為納稅人提供更迅捷、更準(zhǔn)確的服務(wù)稅務(wù)局銀行金融事務(wù)需要搜集和處理大量的數(shù)據(jù)，由于銀行在金融領(lǐng)域的地位、工作性質(zhì)、業(yè)務(wù)特點(diǎn)以及激烈的市場競爭決定了它對信息化、電子化比其它領(lǐng)域有更迫切的要求。利用數(shù)據(jù)挖掘技術(shù)可以幫助銀行產(chǎn)品開發(fā)部門描述客戶以往的需求趨勢，并預(yù)測未來。美國商業(yè)銀行是發(fā)達(dá)國家商業(yè)銀行的典范，許多地方值得我國學(xué)習(xí)和借鑒。數(shù)據(jù)挖掘在