資源描述：
《基于spark的海量數(shù)據(jù)計算平臺設計與實現(xiàn)》由會員上傳分享，免費在線閱讀，更多相關內容在學術論文-天天文庫。
1、乂ｉｌ謹又大聾ＤＡＬＩＡＮＵＮＩＶＥＲＳＩＴＹＯＦＴＥＣＨＮＯＬＯＧＹＩ福損±享恆巧文ＭＡＳＴＥ民ＡＬＤＩＳＳＥＲＴＡＴＩＯＮ基于Ｓｐａｒｋ的海量數(shù)據(jù)計算平臺設計與實現(xiàn)軟紅Ｓ工程領域作者姓名指導教師２０１答辯曰期１６年６月曰專業(yè)學位碩±學位論文基于Ｓｐａ化的海量數(shù)據(jù)計算平臺設計與實現(xiàn)ＤｅｓｉｎａｎｄＩｍｌｅｍｅｎｔａｔｉｏｎｏｆｔｈｅＭａｓｓｉｖｅＤａｔａＣｏｍｕ村ｎｇｐｐｇＰｌａｔｆｏｒｍＢａｓｅｄｏｎＳａｒｋｐ作者姓名：蔣昆佑工程領域：軟件工程學號：３１４１７０
2、１３指導教師：陳志奎２０－－１６２０完成日期：３乂金巧義乂＃ＤａｌｉａｎＵｎｉｏｆｖｅｒｓｉｔｙＴｅｃｈｎｏｌｏｇｙ大連理王大學學位論文獨創(chuàng)性聲明作者鄭重聲明：所呈交的學位論文，是本人在導師的指導下進行研究工作所取得的成果。盡我所知，除文中己經注明引用巧容和致謝的地方外，本論文不包含其他個人或集體己經發(fā)表的研究成果，也不包含其他已申請學位或其他用途使用過的成果一。與我同工作的同志對本研究所做的貢獻均己在論文中做了明確的說明并表示了謝意。若有不實之處，本人愿意承擔相關法律責任。學位論文題目：基于Ｓｐａｒｋ的海量數(shù)據(jù)計算
3、平臺設計與實現(xiàn)／／＜￥作者簽名：佑日期：於年月日—大連理工大學專業(yè)學位碩±學位論文摘要數(shù)據(jù)處理技術主要包括數(shù)據(jù)存儲和數(shù)據(jù)計算技術，其主要目標是實現(xiàn)各種數(shù)據(jù)集的ＡＭＰ一挖掘分析工作。近幾年，ＵＣＢｅｒｋｅｋｙＬａｂ開發(fā)的新代數(shù)據(jù)處理框架ｓａｒｋ逐漸ｐ，它完善了早期流行的ＨａｄｏｏＲＤＤ走進人們視野ｐ框架，提出了彈性分布式數(shù)據(jù)集Ｒ一（ｅｓｉｌｉｅｎｔＤｉｓｔｒｉｂ山ｅｄＤａｔａｓｅｔｓ）和更靈活多樣的編程模式，給數(shù)據(jù)的處理工作提供了條更簡單、更快捷的途徑。隨著大數(shù)據(jù)時代的到來，很多公司企業(yè)都會經常碰到海量數(shù)據(jù)處理分析的問題?，F(xiàn)一存
4、的些海量數(shù)據(jù)處理工具大多收費，并且存在操作復雜、算法不可定制、處理結果不直觀等問題。本文所述的海量數(shù)據(jù)計算平臺后臺基于Ｓｐａｒｋ集群，可Ｗ高效實現(xiàn)海量數(shù)據(jù)的存儲和計算工作。在此基礎上，提供算法自定義功能，用戶通過提交算法包，并簡單配置即可使自定義算法運行在該平臺上。前臺基于Ｗｅｂｘ框架，Ｗ網站形式對外提供服務，降低用戶學習傳統(tǒng)命令行操作的成本，實現(xiàn)Ｓｐａｒｋ操作完全圖形化。平臺還對數(shù)據(jù)處理結果進行多樣可視化展示，為后期深入研究提供了便利。本文首先對Ｓｐａｒｋ和Ｗ沈開發(fā)技術的現(xiàn)狀進行介紹和分析，詳細闡述當前海量數(shù)據(jù)，處理面臨的問題并整理出海量數(shù)據(jù)計算平臺的功
5、能、性能等需求。在此基礎上，針對該平臺使用的Ｗｅｂｘ開源框架進行具體介紹，并利用框架提供的各種服務設計實現(xiàn)前端網站的整體功能，。然后分析并行編程模型利用開源算法庫ＭＵ化實現(xiàn)經典機器學習算法。接著分析平臺的數(shù)據(jù)存儲機制，使用Ｍｙｓｑｌ存儲用戶和算法信息，結合ＨＤＦＳ存儲輸入文件。最后通過遠程連接技術ＳｅｃｕｒｅＳｈｅｌｌ實現(xiàn)前臺網站與后臺Ｓｐａｒｋ集群的交互。關鍵詞：海量數(shù)據(jù)；Ｗｅｂｘ；Ｓｐａｒｋ；可視化－Ｉ－基于Ｓｐａｒｉｃ的海量數(shù)據(jù)計算平臺設計與實現(xiàn)ＤｅｓｉｇｎａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｔｈｅＭａｓｓｉｖｅＤａｔａＣ
6、ｏｍｐｕｔｉｎｇＰｌａｔｆｏｒｍＢａｓｅｄｏｎＳａｒｋｐＡｂｓｔｒａｃｔＴｈｅｄａｔａｒｏｃｅｓｓｉｎ１；ｅｃｈｎｏｌｏｇｙｉｓｃｏｍｂｉｎｅｄｗｉ出ｄａｔａｓｌ：ｏｒａｅａｎｄｄａｔａｃｏｍｕｔａｔｉｏ打ｔｈａｔｐｇｇｐｔｓｔｉｉｉｔＩｔｉｍａｉｎｏａｌｉｓｏａｃｈｉｅｖｅｍｎｎａｎａｌｓｉｓｆｏｒａｌｌｋｎｄｓｏｆｄａａ．ｎｒｅｃｅｎｅａｒｓＵＣＢｅｒｋｅｌｅｇｇｙｙ，ｙＡＭＰＬａｂｄｅｖｅｌｏｐｓａｎｅｗｆｒａｍｅｗｏｒｋｆｏｒｍａｓｓｉｖｅｄａｔａｐｒｏｃｅｓｓｉｎｇｃａｌ
7、ｌｅｄＳｐａｒｋｗｈｉｃｈｉｓｒａｄｕａｌｌｉｎｔｏｏｕｒｈｏｒｉｚｏｎ．Ｉｔｉｓ打ｏｔｏｎｌｅｒｆｅｃｔｓｔｈｅｅａｒｌｏｕｌａｒＨａｄｏｏｆｒａｍｅｗｏｒｋｂｕｔｇｙｙｐｙｐｐｐ，ａｓｏｔｉｔｉｓｔｔｅａｔａｓｅｔＲＤＤ民ｅｓｉｌｉｅｎｔＤｉｔｒｉＤａｔａｓｅｔｓａｎｄｍｏｒｅｌｏｐｒｐｏｓｅｓｈｅｒｅｓｉｌｅｎｄｒｉｂｕｄｄｓ（ｓｂｕｂｄ）ｆｌｅｘ化ｌｅｒｏｒａｍｍｉｎｍｏｄｅｌｗｈ
