Google云計算原理與應(yīng)用

《Google云計算原理與應(yīng)用》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、電子工業(yè)出版社《云計算(第二版)》配套課件解放軍理工大學(xué)劉鵬教授主編華東交通大學(xué)劉鵬制作第2章Google云計算原理與應(yīng)用《云計算（第二版）》購買網(wǎng)址：當(dāng)當(dāng)網(wǎng)京東商城姊妹力作《實戰(zhàn)Hadoop》購買網(wǎng)址：當(dāng)當(dāng)網(wǎng)京東商城提綱?Google文件系統(tǒng)GFS?分布式數(shù)據(jù)處理MapReduce?分布式鎖服務(wù)Chubby?分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable?分布式存儲系統(tǒng)Megastore?大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper?Google應(yīng)用程序引擎Google文件系統(tǒng)GFS?系統(tǒng)架構(gòu)?容錯機制?系統(tǒng)管理技術(shù)Google業(yè)務(wù)?全球最大搜索引擎、GoogleMap

2、s、GoogleEarth、Gmail、YouTube等數(shù)據(jù)量巨大，且面向全球用戶提供實時服務(wù)Google云計算平臺技術(shù)架構(gòu)?文件存儲，GoogleDistributedFileSystem，GFS?并行數(shù)據(jù)處理MapReduce?分布式鎖Chubby?分布式結(jié)構(gòu)化數(shù)據(jù)表BigTable?分布式存儲系統(tǒng)Megastore?分布式監(jiān)控系統(tǒng)Dapper秘密武器：云計算平臺！GFS設(shè)計動機?Google需要一個支持海量存儲的文件系統(tǒng)?購置昂貴的分布式文件系統(tǒng)與硬件？?為什么不使用當(dāng)時現(xiàn)存的文件系統(tǒng)？?Google所面臨的問題與眾不同?不同的工作負(fù)載，不同的設(shè)計優(yōu)先

3、級（廉價、不可靠的硬件）?需要設(shè)計與Google應(yīng)用和負(fù)載相符的文件系統(tǒng)是否可以在一堆廉價且不可靠的硬件上構(gòu)建可靠的分布式文件系統(tǒng)？GFS將容錯的任務(wù)交給文件系統(tǒng)完成，利用軟件的方法解決系統(tǒng)可靠性問題，使存儲的成本成倍下降。GFS將服務(wù)器故障視為正?，F(xiàn)象，并采用多種方法，從多個角度，使用不同的容錯措施，確保數(shù)據(jù)存儲的安全、保證提供不間斷的數(shù)據(jù)存儲服務(wù)GFS架構(gòu)是怎樣的？系統(tǒng)架構(gòu)Client（客戶端）：應(yīng)用程序的訪問接口Master（主服務(wù)器）：管理節(jié)點，在邏輯上只有一個，保存系統(tǒng)的元數(shù)據(jù)，負(fù)責(zé)整個文件系統(tǒng)的管理ChunkServer（數(shù)據(jù)塊服務(wù)器）：負(fù)責(zé)具體

4、的存儲工作。數(shù)據(jù)以文件的形式存儲在ChunkServer上實現(xiàn)機制?客戶端首先訪問Master節(jié)點，獲取交互的ChunkServer信息，然后訪問這些ChunkServer，完成數(shù)據(jù)存取工作。這種設(shè)計方法實現(xiàn)了控制流和數(shù)據(jù)流的分離。?Client與Master之間只有控制流，而無數(shù)據(jù)流，極大地降低了Master的負(fù)載。?Client與ChunkServer之間直接傳輸數(shù)據(jù)流，同時由于文件被分成多個Chunk進行分布式存儲，Client可以同時訪問多個ChunkServer，從而使得整個系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高。GFS特點有哪些？GFS特點采

5、用中心服務(wù)器模式?可以方便地增加ChunkServer?Master掌握系統(tǒng)內(nèi)所有ChunkServer的情況，方便進行負(fù)載均衡?不存在元數(shù)據(jù)的一致性問題不緩存數(shù)據(jù)?文件操作大部分是流式讀寫，不存在大量重復(fù)讀寫，使用Cache對性能提高不大?ChunkServer上數(shù)據(jù)存取使用本地文件系統(tǒng)，若讀取頻繁，系統(tǒng)具有Cache?從可行性看，Cache與實際數(shù)據(jù)的一致性維護也極其復(fù)雜在用戶態(tài)下實現(xiàn)?利用POSIX編程接口存取數(shù)據(jù)降低了實現(xiàn)難度，提高通用性?POSIX接口提供功能更豐富?用戶態(tài)下有多種調(diào)試工具?Master和ChunkServer都以進程方式運行，單個

6、進程不影響整個操作系統(tǒng)?GFS和操作系統(tǒng)運行在不同的空間，兩者耦合性降低只提供專用接口?降低實現(xiàn)的難度?對應(yīng)用提供一些特殊支持?降低復(fù)雜度Google文件系統(tǒng)GFS?系統(tǒng)架構(gòu)?容錯機制?系統(tǒng)管理技術(shù)Master容錯MasterNameSpace，文件系統(tǒng)目錄結(jié)構(gòu)Chunk與文件名的映射Chunk副本的位置信息(默認(rèn)有三個副本)NameSpace，文件系統(tǒng)目錄結(jié)構(gòu)Chunk與文件名的映射Chunk副本的位置信息Master單個Master，對于前兩種元數(shù)據(jù)，GFS通過操作日志來提供容錯功能第三種元數(shù)據(jù)信息保存在各個ChunkServer上，Master故障時，

7、磁盤恢復(fù)GFS還提供了Master遠(yuǎn)程的實時備份,防止Master徹底死機的情況ChunkServer容錯?采用副本方式實現(xiàn)ChunkServer容錯?每一個Chunk有多個存儲副本（默認(rèn)為三個），分布存儲在不同的ChunkServer上用戶態(tài)的GFS不會影響ChunkServer的穩(wěn)定性?副本的分布策略需要考慮多種因素，如網(wǎng)絡(luò)的拓?fù)?、機架的分布、磁盤的利用率等?對于每一個Chunk，必須將所有的副本全部寫入成功，才視為成功寫入盡管一份數(shù)據(jù)需要存儲三份，好像磁盤空間的利用率不高，但綜合比較多種因素，加之磁盤的成本不斷下降，采用副本無疑是最簡單、最可靠、最有效

8、，而且實現(xiàn)的難度也最小的一種方法。Simple,an