hadoop自動(dòng)化運(yùn)維管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

《hadoop自動(dòng)化運(yùn)維管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、觀，。。。／如交猶ｍＢＥＩＪＩＮＧＪＩＡＯＴＯＮＧＵＮＩＶＥＲＳＩＴＹ碩ｉ專業(yè)學(xué)位論文３ｍＨａｄｏｏｐ自動(dòng)化運(yùn)維管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)作者姓名陳煉ｘｍｗｍ訓(xùn)師趙宏副教授彝二零－六年六月ｒｎｂ＾ｉ＾ｍ如交４乂攀碩±專業(yè)學(xué)位論文化ｄｏｏｐ自動(dòng)化運(yùn)維管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)ＤｅｓｉｎａｎｄｉｍｌｅｍｅｎｔａｔｉｏｎｏｆＨａｄｏｏｐＡｉＵｏｍａｔｅｄＯｅｒａｔｉｏｎｇｐｐＭａｎａｇｅｍｅｎｔＳｙｓｔｅｍ作者：陳煉導(dǎo)師：趙宏北京交通大學(xué)２０１６年６月學(xué)位論文

2、版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解北京交通大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定。特授權(quán)北京交通大學(xué)可將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，提供閱覽服務(wù)，并采用影印、縮印或掃描等復(fù)制手段保存、匯編＾｜。１供査閱和借閱同意學(xué)校向國(guó)家有關(guān)部口或機(jī)構(gòu)送交論文的復(fù)印件和磁盤。學(xué)校可Ｗ為存在館際合作關(guān)系的兄弟離校用戶提供文獻(xiàn)傳遞服務(wù)和交換服務(wù)。（保密的學(xué)位論文在解密后適用本授權(quán)說(shuō)明）學(xué)位論文作者簽名：除悚導(dǎo)師簽名；地心簽字日期；年＾月（心日簽字日期：如占年ｔ月，日１學(xué)校代碼：０００４密級(jí)：公開(kāi)北

3、京交通大學(xué)碩±專業(yè)學(xué)位論文Ｈａｄｏｏｐ自動(dòng)化運(yùn)維管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)ＤｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＨａｄｏｏｐＡｕｔｏｍａｔｅｄＯｐｅｒａｔｉｏｎＭａｎａｅｍｅｎｔＳｓｔｅｍｇｙ作者姓名；陳煉學(xué)號(hào)：１４１２６０７３導(dǎo)師姓名；趙宏職稱；副教授工程碩±專業(yè)領(lǐng)域：軟件工程學(xué)位級(jí)別；碩±北京交通大學(xué)２０化年６月ｉ致謝本論文的工作是在我的導(dǎo)師趙宏教授的悉也指導(dǎo)下完成的，趙宏教授嚴(yán)謹(jǐn)?shù)模崳娭螌W(xué)態(tài)度和科學(xué)的工作方法給了我極大的幫助和影響。在此衷也感謝兩年來(lái)趙宏老

4、師對(duì)我的關(guān)也和指導(dǎo)。趙宏教授用也指導(dǎo)我完成了實(shí)驗(yàn)室的各項(xiàng)科研工作，在生活上Ｗ及學(xué)習(xí)上都給予了我巨大的關(guān)也與幫助，對(duì)我的論文提出了很多寶貴的意見(jiàn)，尤其在論文的編寫上對(duì)我進(jìn)行了無(wú)私的指導(dǎo)和幫助，不厭其煩的幫助我進(jìn)行論文的修改和改進(jìn)，、的謝意在此向趙宏老師表示衷屯。在實(shí)習(xí)工作期間，，劉鴉房工程師悉如指導(dǎo)我完成了系統(tǒng)的需求分析工作對(duì)工程師表示衷屯、于我的技術(shù)工作和論文都提出了許多的寶貴意見(jiàn)，在此向劉鴉房的謝意。另外也感謝家人、。，他們的理解和支持使我能夠在學(xué)校專屯完成我的學(xué)業(yè)ｉｉ北京交通大學(xué)碩±專業(yè)學(xué)位論文＾

5、摘要近年來(lái)，隨著互聯(lián)網(wǎng)的快速發(fā)展，特別是移動(dòng)互聯(lián)網(wǎng)的到來(lái)，上網(wǎng)的人群越。來(lái)越多，隨么而來(lái)的是產(chǎn)生大呈的數(shù)據(jù)同時(shí)，數(shù)據(jù)的增長(zhǎng)速度十分迅速，對(duì)海星數(shù)據(jù)進(jìn)行存儲(chǔ)與計(jì)算將變得非常的困難ａｄｏｏ一。Ｈｐ是個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分ａｄｏｏ布式處理的軟件框架，通過(guò)Ｈｐ能夠幫助很多企業(yè)解決海雖數(shù)據(jù)的存儲(chǔ)與計(jì)算一—問(wèn)題。Ｈａｄｏｏｐ作為個(gè)開(kāi)源的分布式框架，Ｗ種可靠、島效、可伸縮的方式進(jìn)行數(shù)據(jù)處理，受到很多公司的青睞，很多大公司的Ｈａｄｏｏｐ集群的規(guī)模己經(jīng)非常龐大。所Ｗ，對(duì)Ｈａｄｏｏｐ集群進(jìn)行有效的運(yùn)維，可Ｗ極大地提升運(yùn)維人員工作的

6、效率，避免重復(fù)巧雜的運(yùn)維工作。Ｈａｄｏｏｐ自動(dòng)化運(yùn)維管理系統(tǒng)是公司實(shí)際的Ｈａｄｏｏｐ運(yùn)維項(xiàng)目，嚴(yán)格按照標(biāo)準(zhǔn)軟件系統(tǒng)建設(shè)流程進(jìn)行。項(xiàng)目從數(shù)據(jù)流上可劃分成兩大部分，基于Ａｎｓｉｂｌｅ的Ｈａｄｏｏｐ自動(dòng)化運(yùn)維平臺(tái)和基于Ｊ２ＥＥ（Ｊａｖａ２ＰｌａｔｆｏｒｍＥｎｔｅｒｐｒｉ化Ｅｄｉｔｉｏｎ，Ｊａｖａ２平臺(tái)企業(yè)版）的Ｈａｄｏｏ。動(dòng)化運(yùn)維平臺(tái)主要是通過(guò)Ａｎｓｉｂｌｐ管理平臺(tái)其中，Ｈａｄｏｏｐ自ｅ對(duì)Ｈａｄｏｏｐ集群進(jìn)行自動(dòng)化運(yùn)維，Ｈａｄｏｏｐ管理平臺(tái)主要是對(duì)Ｈａｄｏｏｐ集群的信息進(jìn)行管理一沈的可，給用戶提供工單服

7、務(wù)，給運(yùn)維人員提供個(gè)基于Ｗ視化圖形操作界面，對(duì)接Ａｎｓｉｂｌｅ。本人獨(dú)立完成Ｈａｄｏｏｐ管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)，主要包括五、個(gè)模塊，分別是資產(chǎn)管理模塊權(quán)限管理模塊、工單模塊、運(yùn)維模塊、用戶中也模塊。資產(chǎn)管理主要負(fù)貴登記管理集群信息、網(wǎng)格信息、服務(wù)器信息、客戶機(jī)信息和項(xiàng)目信息。權(quán)限管理主要負(fù)責(zé)對(duì)用戶的操作權(quán)限進(jìn)行劃分。工單模塊主要負(fù)責(zé)為公司員工提供公司業(yè)務(wù)需求解決通道，例如，申請(qǐng)ｈｄｆｓ空間擴(kuò)容。運(yùn)維模塊主要負(fù)責(zé)為ｈａｄｏｏ運(yùn)維人員提供便捷運(yùn)維通道、ｐ。用戶中屯主要負(fù)責(zé)管理用戶基本信息，工單處理記錄，待審批工單及待處理

8、工單等操作入口。整個(gè)項(xiàng)目采用ＭＶＣ設(shè)計(jì)模式，由ＳｐｒｉｎｇＭＶＣ，Ｓｐｒｉｎｇ，ＨｉｂｅｒｎａｔｅＨ■大Ｗｅｂ開(kāi)發(fā)框架整合而成，其中工單模塊基于Ａｃｔ