基于云平臺的機(jī)器學(xué)習(xí)算法并行化研究與應(yīng)用

《基于云平臺的機(jī)器學(xué)習(xí)算法并行化研究與應(yīng)用》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、？？、＾，．Ｖ；：響涼；ｉ；爲(wèi)ｙ雪杉灣Ｉ＇＇‘、學(xué)校代碼：１０１３５義Ｚ＾一、吉；５ｘｊ遞Ｌ？‘＾衣Ｉ．＇卽夸分類號：《茜嶺善Ａ―：；‘￣＾＂－ｆｃｉ：拷冰ｌ：’ｆｆＩ１；‘－．．Ｖ．，＾若ｖｒ＇．古：．旬．Ｖ護(hù)Ｖ—如從乂凈心，１．兵襄飾解雜?。崳姡蔽福４T±學(xué)位論文＇戶‘’＇＇Ｖ＇單＇；、＇Ｖ、；、啼．多‘點(diǎn)．．貨攻．ｒ洽棘品．＇苗苗＾祕讀．４’刊：令基于宏平臺的機(jī)器學(xué)習(xí)？法并行化研究與應(yīng)用三．？夢＇；．．：．．；

2、々彎－Ｐ＾＼ａｒａｌｌｅｌｒｅｓｅａｒｃｈａｎｄａｐｐｌｉｃａｔｉｏｎｏｆｍａｃｈｉｎｅｌｅａｒｎｉｎｇ＜ａ心ｌｇｏｒｉＵｉｍｂａｓｅｄｏｎｄｏｕｄｌａｔｆｏｒｍ＼＼ｐ戸＿、、＇＜－聲?。丁瘽M雜＇＇－．、：．如：＞．聲古祭訪皆Ｔｖｖ‘七非皆！海學(xué)科ｎ類：工學(xué)ｆ讀參鋼＂＿＇，．－級學(xué)科：軟件工程＇ｆ、雜．｜ｌ？＇？４學(xué)科只、專業(yè)：軟件工程乃苗ｆ，＝研究方向：生巧巧患學(xué)’‘。氣＇申請人姓名心：巧方方．．為山

3、ｊｊ齡祭巧導(dǎo)巧師姓名：兆華ｇ：幕．戶巧義、實(shí)＇？．，’今％請心托茄．ｔ－＇皆－Ｖ扛．?。墶觯唬А迹牐汗?jié)ＷＶ，《１．－ｙＭｖ誠／ｉ．托１山一參＇．＇、．＾＾，：合．．：；；？＾若．．、＾／令；＾．汁：安吟：冷．＾亦餐讓鉛，＼於０學(xué)校代碼＝１１３５論文分類號＝學(xué)號：２０Ｕ４０１９０１５研究生類別＝全日制解姨據(jù)乂蜂碩±學(xué)位論文基于是平臺的奶器學(xué)習(xí)算法并行化研究與應(yīng)用ＰａｒａｌｌｅｌｒｅｓｅａｒｃｈａｎｄａｐｐＵｃａ村ｏｎｏｆｍａｃｈｉｎ

4、ｅｌｅａｒｎｉｎｇａｌｏｒｉｔｈｍｂａｓｅｄｏｎｃｌｏｕｄｌａｔｆｏｒｍｇｐ學(xué)科口類；工學(xué)－級學(xué)科：軟件工程學(xué)科、專業(yè)：軟件工程研究方向：生物信息學(xué)申請人姓名：京方方巧導(dǎo)教師姓名：紀(jì)兆華—＿六年四月八日獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果，盡我所知，除了文中特別加Ｌ乂標(biāo)注和致謝的地方外，論文中不包含其他人邑經(jīng)發(fā)表或撰寫過的研究成果，也不包含本人為獲得內(nèi)蒙古師范大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或

5、證書而使用過的材料。本人保證所呈交的論文不侵化國家機(jī)密一、商業(yè)秘密及其他合法權(quán)益。與我同工作的同志對本巧究所做的任何賈獻(xiàn)均己在論文中作了明確的說明并表示感謝。簽名；曰期：年月。曰ＵＩ（＾關(guān)于論文使用授權(quán)的說明本學(xué)位論文作者完全了解內(nèi)蒙古師范大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定：內(nèi)蒙古師范大學(xué)有權(quán)保留并向國家有關(guān)部口或機(jī)構(gòu)送交論文的復(fù)印件和磁盤，允許論文被查閱和借閱，可Ｗ將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可米用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文，并

6、且本人電子文檔的內(nèi)容和紙質(zhì)論文的內(nèi)容相一致。保密的學(xué)位論文在解密后也遵守此規(guī)定。．馨名如導(dǎo)師簽名：夢ｊ皆麥方曰期；年曰ＷＩ＾知內(nèi)蒙古師范大學(xué)碩±學(xué)位論文中文摘要隨著信息化時代的到來，數(shù)據(jù)成為了最為寶貴的資源，各行各業(yè)可處理的數(shù)據(jù)Ｗ指數(shù)形式增長，包括電子商務(wù)網(wǎng)站的各種商務(wù)數(shù)據(jù)、銀行的各種業(yè)務(wù)數(shù)據(jù)化及生物體的各種基因組數(shù)據(jù)等等，這種爆炸式的數(shù)據(jù)增長，。目前平很難在已有的平臺中得到有效的處理，Ｈａｄｏｏｐ一臺是在大數(shù)據(jù)中挖掘出有用信息種相對高效率的并行化新技術(shù)，使

7、用Ｍａｐ民ｅｄｕｃｅ（ＭＲ）編程框架，數(shù)據(jù)量越大，這種技術(shù)越能體現(xiàn)出其獨(dú)一特的優(yōu)勢。Ｍ地ｏｕｔ是種開源的機(jī)器學(xué)習(xí)（ＭＬ）算法庫屬于Ａｐａｃｈｅ社區(qū)，基于Ｈａｄｏｏｐ平臺的ＭＲ計算框架，為程序開發(fā)者提供高效的算法實(shí)例。由于機(jī)器學(xué)習(xí)算法基本屬于迭代計算，而Ｍ民將中間數(shù)據(jù)存放在分布式文件處理系統(tǒng)ＨＤＦＳ上，Ｉ／Ｏ資源消耗高的局限（）其具有性。原于Ｍ組ｏｕｔ機(jī)器學(xué)習(xí)庫的缺陷，Ｓｐａｒｋ計算框架應(yīng)運(yùn)而生，ＳｐａｒｋＲＤＤ一主要基于彈性分布式數(shù)據(jù)集，ＲＤＤ是分布式內(nèi)存的個抽象概（）念，降低了Ｉ

8、／Ｏ資源消耗和容錯能力的開銷。Ｓｐａｒｋ同樣可Ｗ搭建在ＨａｄｏｏｐＹＡＲＮ平臺上，分布式存儲數(shù)據(jù)。伴隨著ＳｐａｒｋＭＬ化的出現(xiàn)，使機(jī)器學(xué)習(xí)算法的并行化研究有了質(zhì)的提升。本文主要研究基于－ＳａｒｋＭＬ１化的聚類算法Ｋｍｅａｎｓ和分類算法決策樹及其組裝樹隨機(jī)ｐ－ｍｅａｎｓ森林用來解決單機(jī)無法處理的基因組數(shù)據(jù)問題。Ｋ算法作為數(shù)據(jù)處理的第一二步，用于找到最佳的類別個數(shù)