Google云計算原理

《Google云計算原理》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、.....Google云計算原理Google擁有全球最強(qiáng)大的搜索引擎。除了搜索業(yè)務(wù)以外，Google還有GoogleMaps、GoogleEarth、Gmail、YouTube等各種業(yè)務(wù)，包括剛誕生的GoogleWave。這些應(yīng)用的共性在于數(shù)據(jù)量巨大，而且要面向全球用戶提供實時服務(wù)，因此Google必須解決海量數(shù)據(jù)存儲和快速處理問題。Google的訣竅在于它發(fā)展出簡單而又高效的技術(shù)，讓多達(dá)百萬臺的廉價計算機(jī)協(xié)同工作，共同完成這些前所未有的任務(wù)，這些技術(shù)是在誕生幾年之后才被命名為Google云計算技術(shù)。Google云

2、計算技術(shù)具體包括：Google文件系統(tǒng)GFS、分布式計算編程模型MapReduce、分布式鎖服務(wù)Chubby和分布式結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)Bigtable等。其中，GFS提供了海量數(shù)據(jù)的存儲和訪問的能力，MapReduce使得海量信息的并行處理變得簡單易行，Chubby保證了分布式環(huán)境下并發(fā)操作的同步問題，Bigtable使得海量數(shù)據(jù)的管理和組織十分方便。本章將對這四種核心技術(shù)進(jìn)行詳細(xì)介紹。2.1Google文件系統(tǒng)GFSGoogle文件系統(tǒng)（GoogleFileSystem，GFS）是一個大型的分布式文件系統(tǒng)。它為G

3、oogle云計算提供海量存儲，并且與Chubby、MapReduce以及Bigtable等技術(shù)結(jié)合十分緊密，處于所有核心技術(shù)的底層。由于GFS并不是一個開源的系統(tǒng)，我們僅僅能從Google公布的技術(shù)文檔來獲得一點了解，而無法進(jìn)行深入的研究。文獻(xiàn)[1]是Google公布的關(guān)于GFS的最為詳盡的技術(shù)文檔，它從GFS產(chǎn)生的背景、特點、系統(tǒng)框架、性能測試等方面進(jìn)行了詳細(xì)的闡述。當(dāng)前主流分布式文件系統(tǒng)有RedHat的GFS[3]（GlobalFileSystem）、IBM的GPFS[4]、Sun的Lustre[5]等。這些系

4、統(tǒng)通常用于高性能計算或大型數(shù)據(jù)中心，對硬件設(shè)施條件要求較高。以Lustre文件系統(tǒng)為例，它只對元數(shù)據(jù)管理器MDS提供容錯解決方案，而對于具體的數(shù)據(jù)存儲節(jié)點OST來說，則依賴其自身來解決容錯的問題。例如，Lustre推薦OST節(jié)點采用RAID技術(shù)或SAN存儲區(qū)域網(wǎng)來容錯，但由于Lustre自身不能提供數(shù)據(jù)存儲的容錯，一旦OST發(fā)生故障就無法恢復(fù)，因此對OST的穩(wěn)定性就提出了相當(dāng)高的要求，從而大大增加了存儲的成本，而且成本會隨著規(guī)模的擴(kuò)大線性增長。學(xué)習(xí)參考.....正如李開復(fù)所說的那樣，創(chuàng)新固然重要，但有用的創(chuàng)新更重要

5、。創(chuàng)新的價值，取決于一項創(chuàng)新在新穎、有用和可行性這三個方面的綜合表現(xiàn)。GoogleGFS的新穎之處并不在于它采用了多么令人驚訝的技術(shù)，而在于它采用廉價的商用機(jī)器構(gòu)建分布式文件系統(tǒng)，同時將GFS的設(shè)計與Google應(yīng)用的特點緊密結(jié)合，并簡化其實現(xiàn)，使之可行，最終達(dá)到創(chuàng)意新穎、有用、可行的完美組合。GFS使用廉價的商用機(jī)器構(gòu)建分布式文件系統(tǒng)，將容錯的任務(wù)交由文件系統(tǒng)來完成，利用軟件的方法解決系統(tǒng)可靠性問題，這樣可以使得存儲的成本成倍下降。由于GFS中服務(wù)器數(shù)目眾多，在GFS中服務(wù)器死機(jī)是經(jīng)常發(fā)生事情，甚至都不應(yīng)當(dāng)將其視

6、為異?，F(xiàn)象，那么如何在頻繁的故障中確保數(shù)據(jù)存儲的安全、保證提供不間斷的數(shù)據(jù)存儲服務(wù)是GFS最核心的問題。GFS的精彩在于它采用了多種方法，從多個角度，使用不同的容錯措施來確保整個系統(tǒng)的可靠性。2.1.1系統(tǒng)架構(gòu)GFS的系統(tǒng)架構(gòu)如圖2-1[1]所示。GFS將整個系統(tǒng)的節(jié)點分為三類角色：Client（客戶端）、Master（主服務(wù)器）和ChunkServer（數(shù)據(jù)塊服務(wù)器）。Client是GFS提供給應(yīng)用程序的訪問接口，它是一組專用接口，不遵守POSIX規(guī)范，以庫文件的形式提供。應(yīng)用程序直接調(diào)用這些庫函數(shù)，并與該庫鏈接

7、在一起。Master是GFS的管理節(jié)點，在邏輯上只有一個，它保存系統(tǒng)的元數(shù)據(jù)，負(fù)責(zé)整個文件系統(tǒng)的管理，是GFS文件系統(tǒng)中的大腦。ChunkServer負(fù)責(zé)具體的存儲工作。數(shù)據(jù)以文件的形式存儲在ChunkServer上，ChunkServer的個數(shù)可以有多個，它的數(shù)目直接決定了GFS的規(guī)模。GFS將文件按照固定大小進(jìn)行分塊，默認(rèn)是64MB，每一塊稱為一個Chunk（數(shù)據(jù)塊），每個Chunk都有一個對應(yīng)的索引號（Index）。學(xué)習(xí)參考.....圖2-1GFS體系結(jié)構(gòu)客戶端在訪問GFS時，首先訪問Master節(jié)點，獲取將

8、要與之進(jìn)行交互的ChunkServer信息，然后直接訪問這些ChunkServer完成數(shù)據(jù)存取。GFS的這種設(shè)計方法實現(xiàn)了控制流和數(shù)據(jù)流的分離。Client與Master之間只有控制流，而無數(shù)據(jù)流，這樣就極大地降低了Master的負(fù)載，使之不成為系統(tǒng)性能的一個瓶頸。Client與ChunkServer之間直接傳輸數(shù)據(jù)流，同時由于文件被分成多個Chunk進(jìn)行分