機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘

《機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。

1、機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘周志華南京大學(xué)計(jì)算機(jī)軟件新技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，南京210093“機(jī)器學(xué)習(xí)”是人工智能的核心研究領(lǐng)域之一，其最初的研究動(dòng)機(jī)是為了讓計(jì)算機(jī)系統(tǒng)具有人的學(xué)習(xí)能力以便實(shí)現(xiàn)人工智能，因?yàn)楸娝苤?，沒有學(xué)習(xí)能力的系統(tǒng)很難被認(rèn)為是具有智能的。目[1]前被廣泛采用的機(jī)器學(xué)習(xí)的定義是“利用經(jīng)驗(yàn)來改善計(jì)算機(jī)系統(tǒng)自身的性能”。事實(shí)上，由于“經(jīng)驗(yàn)”在計(jì)算機(jī)系統(tǒng)中主要是以數(shù)據(jù)的形式存在的，因此機(jī)器學(xué)習(xí)需要設(shè)法對(duì)數(shù)據(jù)進(jìn)行分析，這就使得它逐漸成為智能數(shù)據(jù)分析技術(shù)的創(chuàng)新源之一，并且為此而受到越來越多的關(guān)注?！皵?shù)據(jù)

2、挖掘”和“知識(shí)發(fā)現(xiàn)”通常被相提并論，并在許多場(chǎng)合被認(rèn)為是可以相互替代的術(shù)語。對(duì)數(shù)據(jù)挖掘有多種文字不同但含義接近的定義，例如“識(shí)別出巨量數(shù)據(jù)中有效的、新穎的、潛在有[2]用的、最終可理解的模式的非平凡過程”。其實(shí)顧名思義，數(shù)據(jù)挖掘就是試圖從海量數(shù)據(jù)中找出有用的知識(shí)。大體上看，數(shù)據(jù)挖掘可以視為機(jī)器學(xué)習(xí)和數(shù)據(jù)庫的交叉，它主要利用機(jī)器學(xué)習(xí)界提供的技術(shù)來分析海量數(shù)據(jù)，利用數(shù)據(jù)庫界提供的技術(shù)來管理海量數(shù)據(jù)。因?yàn)闄C(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘有密切的聯(lián)系，受主編之邀，本文把它們放在一起做一個(gè)粗淺的介紹。1無處不在隨著計(jì)算機(jī)技

3、術(shù)的飛速發(fā)展，人類收集數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)的能力得到了極大的提高，無論是科學(xué)研究還是社會(huì)生活的各個(gè)領(lǐng)域中都積累了大量的數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)行分析以發(fā)掘數(shù)據(jù)中蘊(yùn)含的有用信息，成為幾乎所有領(lǐng)域的共同需求。正是在這樣的大趨勢(shì)下，機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)的作用日漸重要，受到了廣泛的關(guān)注。例如，網(wǎng)絡(luò)安全是計(jì)算機(jī)界的一個(gè)熱門研究領(lǐng)域，特別是在入侵檢測(cè)方面，不僅有很多理論成果，還出現(xiàn)了不少實(shí)用系統(tǒng)。那么，人們?nèi)绾芜M(jìn)行入侵檢測(cè)呢？首先，人們可以通過檢查服務(wù)器日志等手段來收集大量的網(wǎng)絡(luò)訪問數(shù)據(jù)，這些數(shù)據(jù)中不僅包含正常訪問模式還

4、包含入侵模式。然后，人們就可以利用這些數(shù)據(jù)建立一個(gè)可以很好地把正常訪問模式和入侵模式分開的模型。這樣，在今后接收到一個(gè)新的訪問模式時(shí)，就可以利用這個(gè)模型來判斷這個(gè)模式是正常模式還是入侵模式，甚至判斷出具體是何種類型的入侵。顯然，這里的關(guān)鍵問題是如何利用以往的網(wǎng)絡(luò)訪問數(shù)據(jù)來建立可以對(duì)今后的訪問模式進(jìn)行分類的模型，而這正是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)的強(qiáng)項(xiàng)。實(shí)際上，機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)已經(jīng)開始在多媒體、計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)網(wǎng)絡(luò)乃至操作系統(tǒng)、軟件工程等計(jì)算機(jī)科學(xué)的眾多領(lǐng)域中發(fā)揮作用，特別是在計(jì)算機(jī)視覺和自然語

5、言處理領(lǐng)域，機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘已經(jīng)成為最流行、最熱門的技術(shù)，以至于在這些領(lǐng)域的頂級(jí)會(huì)議上相當(dāng)多的論文都與機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)有關(guān)?？偟膩砜?，引入機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)在計(jì)算機(jī)科學(xué)的眾多分支領(lǐng)域中都是一個(gè)重要趨勢(shì)。機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)還是很多交叉學(xué)科的重要支撐技術(shù)。例如，生物信息學(xué)是一個(gè)新興的交叉學(xué)科，它試圖利用信息科學(xué)技術(shù)來研究從DNA到基因、基因表達(dá)、蛋白質(zhì)、基因電路、細(xì)胞、生理表現(xiàn)等一系列環(huán)節(jié)上的現(xiàn)象和規(guī)律。隨著人類基因組計(jì)劃的實(shí)施，以及基因藥物的美好前景，生物信息學(xué)得到了蓬勃發(fā)展。實(shí)際上，

6、從信息科學(xué)技術(shù)的角度來看，生物信息學(xué)的研究是一個(gè)從“數(shù)據(jù)”到“發(fā)現(xiàn)”的過程，這中間包括數(shù)據(jù)獲取、數(shù)據(jù)管理、數(shù)據(jù)分析、仿真實(shí)驗(yàn)等環(huán)節(jié)，而“數(shù)據(jù)分析”這個(gè)環(huán)節(jié)正是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)的舞臺(tái)。正因?yàn)闄C(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)的進(jìn)展對(duì)計(jì)算機(jī)科學(xué)乃至整個(gè)科學(xué)技術(shù)領(lǐng)域都有重要意義，美[3]國NASA-JPL實(shí)驗(yàn)室的科學(xué)家2001年9月在《Science》上專門撰文指出，機(jī)器學(xué)習(xí)對(duì)科學(xué)研究的整個(gè)過程正起到越來越大的支持作用，并認(rèn)為該領(lǐng)域?qū)⒎€(wěn)定而快速地發(fā)展，并將對(duì)科學(xué)技術(shù)的發(fā)展發(fā)揮更大的促進(jìn)作用。NASA-JPL實(shí)驗(yàn)

7、室的全名是美國航空航天局噴氣推進(jìn)實(shí)驗(yàn)室，位于加州理工學(xué)院，是美國尖端技術(shù)的一個(gè)重要基地，著名的“勇氣”號(hào)和“機(jī)遇”號(hào)火星機(jī)器人正是在這個(gè)實(shí)驗(yàn)室完成的。從目前公開的信息來看，機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)在這兩個(gè)火星機(jī)器人上有大量的應(yīng)用。除了在科學(xué)研究中發(fā)揮重要作用，機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)和普通人的生活也息息相關(guān)。例如，在天氣預(yù)報(bào)、地震預(yù)警、環(huán)境污染檢測(cè)等方面，有效地利用機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)對(duì)衛(wèi)星傳遞回來的大量數(shù)據(jù)進(jìn)行分析，是提高預(yù)報(bào)、預(yù)警、檢測(cè)準(zhǔn)確性的重要途徑；在商業(yè)營銷中，對(duì)利用條形碼技術(shù)獲得的銷售數(shù)據(jù)

8、進(jìn)行分析，不僅可以幫助商家優(yōu)化進(jìn)貨、庫存，還可以對(duì)用戶行為進(jìn)行分析以設(shè)計(jì)有針對(duì)性的營銷策略；……。下面再舉兩個(gè)例子。公路交通事故是人類面臨的最大殺手之一，全世界每年有上百萬人喪生車輪，僅我國每年就有約10萬人死于車禍。美國一直在對(duì)自動(dòng)駕駛車輛進(jìn)行研究，因?yàn)樽詣?dòng)駕駛車輛不僅在軍事上有重要意義，還對(duì)減少因酒后、疲勞而引起的車禍有重要作用。2004年3月，在美國DARPA（國防部先進(jìn)研究計(jì)劃局）組織的自動(dòng)駕駛車輛競(jìng)賽中，斯坦福大學(xué)的參賽車在完全無人控制的情況下，成功地在6小