云計算分布式大數(shù)據(jù)hadoop深入淺出案例驅(qū)動實戰(zhàn)

《云計算分布式大數(shù)據(jù)hadoop深入淺出案例驅(qū)動實戰(zhàn)》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫。

1、云計算分布式大數(shù)據(jù)Hadoop深入淺出案例驅(qū)動實戰(zhàn)培訓(xùn)一：課程簡介：Hadoop天生是解決大數(shù)據(jù)高并發(fā)問題的，是一個能夠?qū)Ａ繑?shù)據(jù)進(jìn)行分布式處理的軟件框架?；ヂ?lián)網(wǎng)企業(yè)、金融機構(gòu)、政府組織和云計算服務(wù)企業(yè)每天都會產(chǎn)生大量的數(shù)據(jù)并面臨高并發(fā)的嚴(yán)峻考驗，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫已經(jīng)無法滿足大數(shù)據(jù)量高并發(fā)的要求，作為云計算實現(xiàn)規(guī)范和實施標(biāo)準(zhǔn)的Hadoop應(yīng)運而生。使用Hadoop，用戶可以在不了解分布式底層細(xì)節(jié)的情況下開發(fā)出分布式程序，從而可以使用眾多廉價的計算設(shè)備的集群的威力來高速的運算和存儲，而且Hadoop的運算和存儲是可靠的、高效的

2、、可伸縮的，能夠使用普通的社區(qū)服務(wù)器出來PB級別的數(shù)據(jù)，是分布式大數(shù)據(jù)處理的存儲的理想選擇。“云計算分布式大數(shù)據(jù)Hadoop深入淺出案例驅(qū)動實戰(zhàn)”基于實務(wù)經(jīng)驗萃取而成，從Hadoop開發(fā)環(huán)境的搭建到到圖片服務(wù)器、WordCount實現(xiàn)、HBase微博系統(tǒng)、話單查詢與統(tǒng)計、Hive數(shù)據(jù)統(tǒng)計案例，理論結(jié)合實際案例，祝你輕松駕馭Hadoop以滿足大數(shù)據(jù)的分布式處理與存儲。課程以MapReduce、HBase、Hive為主軸，想理解和使用Hadoop，就必須掌握這三大核心。二：課程特色1，案例驅(qū)動教學(xué)，全程項目實戰(zhàn)訓(xùn)練；2，掌握Had

3、oop三大核心：MapReduce、HBase、Hive3，萃取出實際開發(fā)中最常用、最實用的內(nèi)容并以深入淺出的方式把難點化于無形之中【主辦單位】中國電子標(biāo)準(zhǔn)協(xié)會【協(xié)辦單位】深圳市威碩企業(yè)管理咨詢有限公司三：適合對象：軟件工程師；數(shù)據(jù)庫開發(fā)人員；網(wǎng)絡(luò)后臺開發(fā)人員；運維人員；四：基礎(chǔ)要求了解Linux系統(tǒng)；了解網(wǎng)絡(luò)；了解Java；五：培訓(xùn)內(nèi)容時間內(nèi)容備注第一天第1個主題：Hadoop思考1.Hadoop的設(shè)計目標(biāo)和適用場景2.Hadoop架構(gòu)解析3.MapReduce工作原理和案例說明第2個主題：Hadoop安裝和配置實戰(zhàn)1.安裝

4、和配置單機版Hadoop實戰(zhàn)2.安裝和配置偽分布式Hadoop實戰(zhàn)3．安裝和配置分布式Hadoop集群實戰(zhàn)第3個主題：HDFS1.HDFS命令行操作實戰(zhàn)2.HDFS的配置管理3.NameNode的工作機制第4個主題：HDFS案例實戰(zhàn)1.HDFS案例的分析和設(shè)計2.環(huán)境搭建3.使用HadoopJavaAPI實現(xiàn)對HDFS寫入、讀取、刪除文件等操作第5個主題：MapReduce剖析1.MapReduce的原理和運行過程2.構(gòu)建MapReduce的開發(fā)環(huán)境第6個主題：MapReduce案例實戰(zhàn)1.使用MapReduce的Java接口

5、實現(xiàn)經(jīng)典的WordCount2.wordcount運行過程解析3.MapReduce實現(xiàn)數(shù)據(jù)去重操作4.MapReduce實現(xiàn)數(shù)據(jù)排序5.MapReduce實現(xiàn)數(shù)據(jù)平均數(shù)據(jù)的計算時間內(nèi)容備注第1個主題：HBase架構(gòu)設(shè)計和實現(xiàn)剖析1.HBase架構(gòu)設(shè)計2.HBase中的表結(jié)構(gòu)等3.HBase：Master、Region、RegionServer第二天第2個主題：HBase案例實戰(zhàn)1---使用HBase實現(xiàn)微博系統(tǒng)1.項目架構(gòu)和設(shè)計2.開發(fā)環(huán)境搭建3.實現(xiàn)用戶登錄和注銷4.“關(guān)注”功能的設(shè)計和實現(xiàn)5.“發(fā)微博”功能的設(shè)計和實現(xiàn)6

6、.發(fā)布和運行整個基于HBase的微博系統(tǒng)第3個主題：HBase與MapReduce1.HBase與MapReduce的關(guān)系2.HBase如何使用MapReduce第4個主題：HBase案例實戰(zhàn)2---話單查詢與統(tǒng)計1.項目架構(gòu)設(shè)計2.開發(fā)環(huán)境搭建3.話單入庫和查詢的設(shè)計與實現(xiàn)4.統(tǒng)計功能的設(shè)計與實現(xiàn)時間內(nèi)容備注第三天第1個主題：MapReduce高級實戰(zhàn)1.Split實現(xiàn)剖析2.自定義輸入的實現(xiàn)3.Reduce的partition?4.案例實戰(zhàn)第2個主題：安裝和使用Hive1.Hive剖析2.安裝Hive3.Hive的基本使用

7、第3個主題：Hive與HDFS、MapReduce1.Hive向HDFS存入結(jié)構(gòu)化數(shù)據(jù)2.使用MySQL作為Hive的元數(shù)據(jù)庫3.Hive與MapReduce第4個主題：Hive案例實戰(zhàn)---數(shù)據(jù)統(tǒng)計1.項目架構(gòu)設(shè)計2.表結(jié)構(gòu)設(shè)計3.數(shù)據(jù)的插入與統(tǒng)計實現(xiàn)第5個主題：Hadoop開發(fā)者之路1.Hadoop技能模型2.Hadoop開發(fā)者最佳學(xué)習(xí)路線和方式3.Hadoop開發(fā)者最佳成長路線