資源描述:
《云計算技術(shù)綜述.doc》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、云計算技術(shù)綜述胡經(jīng)國本文作者的話本文是根據(jù)有關(guān)文獻和資料編寫的《漫話云計算》系列文稿之一?,F(xiàn)作為云計算學(xué)習(xí)筆錄,奉獻給云計算業(yè)外讀者,作為進一步學(xué)習(xí)和研究的參考。希望能夠得到大家的指教和喜歡!下面是正文一、云計算關(guān)鍵技術(shù)1、虛擬化技術(shù)在云計算中,虛擬化(Virtualization)是一種資源管理技術(shù)。虛擬化技術(shù),是指計算元件在虛擬的基礎(chǔ)上而不是在真實的基礎(chǔ)上運行。它可以擴大硬件的容量,簡化軟件的重新配置過程,減少軟件虛擬機相關(guān)開銷和支持更廣泛的操作系統(tǒng)。通過虛擬化技術(shù),可實現(xiàn)軟件應(yīng)用與底層硬件相隔離。它包括將單個資源
2、劃分為多個虛擬資源的裂分模式;也包括將多個資源整合為一個虛擬資源的聚合模式。例如,可以將一臺物理服務(wù)器虛擬成為多臺邏輯機器;也可以將多臺物理服務(wù)器虛擬成為一臺邏輯機器。虛擬化技術(shù)根據(jù)對象可分為:計算虛擬化、存儲虛擬化、網(wǎng)絡(luò)虛擬化等。計算虛擬化又分為:系統(tǒng)級虛擬化、應(yīng)用級虛擬化和桌面虛擬化。在云計算實現(xiàn)中,計算系統(tǒng)虛擬化,是一切建立在“云”上的服務(wù)與應(yīng)用的基礎(chǔ)。虛擬化技術(shù)目前主要應(yīng)用在CPU、操作系統(tǒng)、服務(wù)器等多個方面,是提高服務(wù)效率的最佳解決方案。2、分布式海量數(shù)據(jù)存儲云計算系統(tǒng)由大量服務(wù)器組成,同時為大量用戶服務(wù)。因
3、此,云計算系統(tǒng)采用分布式存儲的方式存儲數(shù)據(jù);用冗余存儲的方式(集群計算、數(shù)據(jù)冗余和分布式存儲)保證數(shù)據(jù)的可靠性。冗余存儲的方式,通過任務(wù)分解和集群,用低配置機器替代超級計算機的性能,來保證低成本。這種方式保證分布式數(shù)據(jù)的高可用、高可靠和經(jīng)濟性,即為同一份數(shù)據(jù)存儲多個副本。云計算系統(tǒng)中廣泛使用的數(shù)據(jù)存儲系統(tǒng),是Google的GFS和Hadoop團隊開發(fā)的GFS的開源實現(xiàn)HDFS。鏈接:GFS31GFS(GoogleFileSystem,Google文件系統(tǒng)),是Google公司為了存儲海量搜索數(shù)據(jù)而設(shè)計的專用文件系統(tǒng)。G
4、FS是一個可擴展的分布式文件系統(tǒng),用于大型的、分布式的、對大量數(shù)據(jù)進行訪問的應(yīng)用。它運行于廉價的普通硬件上,并提供容錯功能。它可以給大量的用戶提供總體性能較高的服務(wù)。鏈接:HDFSHDFS(HadoopDistributedFileSystem,Hadoop分布式文件系統(tǒng))被設(shè)計成適合運行在通用硬件(commodityhardware)上的分布式文件系統(tǒng)。它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點。但是同時,它和其他的分布式文件系統(tǒng)的區(qū)別也是很明顯的。HDFS是一個高度容錯性的系統(tǒng),適合部署在廉價的機器上。HDFS能提供高吞
5、吐量的數(shù)據(jù)訪問,非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS具有高容錯性(fault-tolerant)的特點,并且設(shè)計用來部署在低廉的(low-cost)硬件上。而且,它提供高吞吐量(highthroughput)來訪問應(yīng)用程序的數(shù)據(jù),適合那些具有超大數(shù)據(jù)集(largedataset)的應(yīng)用程序。3、海量數(shù)據(jù)管理技術(shù)云計算需要對分布的、海量的數(shù)據(jù)進行處理、分析。因此,數(shù)據(jù)管理技術(shù),必需能夠高效地管理大量的數(shù)據(jù)。云計算系統(tǒng)中的數(shù)據(jù)管理技術(shù),主要是Google的BTsT~lO數(shù)據(jù)管理技術(shù)和Hadoop團隊開發(fā)的開源數(shù)據(jù)管理模塊
6、HBase。由于云數(shù)據(jù)存儲管理形式,不同于傳統(tǒng)的RDBMS數(shù)據(jù)管理方式,如何在規(guī)模巨大的分布式數(shù)據(jù)中找到特定的數(shù)據(jù),也是云計算數(shù)據(jù)管理技術(shù)所必須解決的問題。同時,由于管理形式的不同,造成傳統(tǒng)的SQL數(shù)據(jù)庫接口,無法直接移植到云管理系統(tǒng)中來。目前,一些研究在關(guān)注為云數(shù)據(jù)管理提供RDBMS和SQL的接口,如基于Hadoap子項目HBase和Hive等。另外,在云數(shù)據(jù)管理方面,如何保證數(shù)據(jù)安全性和數(shù)據(jù)訪問高效性,也是研究關(guān)注的重點問題之一。鏈接:HBaseHBase(HadoopDatabase,Hadoop數(shù)據(jù)庫),是一個
7、分布式的、面向列的開源數(shù)據(jù)庫。HBase不同于一般的關(guān)系型數(shù)據(jù)庫,它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。另一個不同的是,HBase基于列的而不是基于行的模式。HBase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)。利用HBase技術(shù)可在廉價PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。鏈接:RDBMSRDBMS(RelationalDatabaseManagement31System,關(guān)系型數(shù)據(jù)庫管理系統(tǒng)),是將數(shù)據(jù)組織為相關(guān)的行和列的系統(tǒng);而管理關(guān)系型數(shù)據(jù)庫的軟件就是關(guān)系型數(shù)據(jù)庫管理系統(tǒng)。常用的管理關(guān)系型
8、數(shù)據(jù)庫的軟件有Oracle、SQLServer等。鏈接:SQLSQL(Structured?Query?Language,結(jié)構(gòu)化查詢語言),是一種數(shù)據(jù)庫查詢和程序設(shè)計語言,用于存取數(shù)據(jù)以及查詢、更新和管理關(guān)系型數(shù)據(jù)庫系統(tǒng);同時也是數(shù)據(jù)庫腳本文件的擴展名。鏈接:HiveHive是基于Hadoop的一個數(shù)據(jù)倉庫工具,可以將結(jié)構(gòu)化的數(shù)據(jù)