云計(jì)算數(shù)據(jù)中心調(diào)度算法研究

《云計(jì)算數(shù)據(jù)中心調(diào)度算法研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫(kù)。

1、云計(jì)算數(shù)據(jù)中心資源調(diào)度關(guān)鍵技術(shù)研究1項(xiàng)目背景：云計(jì)算是建立在計(jì)算機(jī)界長(zhǎng)期的技術(shù)積累基礎(chǔ)之上，包括軟件和平臺(tái)作為一種服務(wù)，虛擬化技術(shù)和大規(guī)模的數(shù)據(jù)中心技術(shù)等關(guān)鍵技術(shù)。數(shù)據(jù)中心（可能是分布在不同地理位置的多個(gè)系統(tǒng)）是容納計(jì)算設(shè)備資源的集中之地同時(shí)負(fù)責(zé)對(duì)計(jì)算設(shè)備的能源提供和空調(diào)維護(hù)等。數(shù)據(jù)中心可以是單獨(dú)建設(shè)也可以置于其他建筑之內(nèi)。動(dòng)態(tài)分配管理虛擬和共享資源在新的應(yīng)用環(huán)境--云計(jì)算數(shù)據(jù)中心里面臨新的挑戰(zhàn)，因?yàn)樵朴?jì)算應(yīng)用平臺(tái)的資源可能分布廣泛而且種類多樣，加之用戶需求的實(shí)時(shí)動(dòng)態(tài)變化很難準(zhǔn)確預(yù)測(cè)，以及需要考慮系統(tǒng)性能和成本等因素使得問題非常復(fù)

2、雜。需要設(shè)計(jì)高效的云計(jì)算數(shù)據(jù)中心調(diào)度算法以適應(yīng)不同的業(yè)務(wù)需求和滿足不同的商業(yè)目標(biāo)。目前的數(shù)據(jù)中心調(diào)度算法依據(jù)具體的應(yīng)用（計(jì)算資源，存儲(chǔ)，搜索，海量信息處理等）不同采用不同策略和算法。提高系統(tǒng)的響應(yīng)速度和服務(wù)質(zhì)量是數(shù)據(jù)中心的關(guān)鍵技術(shù)指標(biāo)，然而隨著數(shù)據(jù)中心規(guī)模的不斷擴(kuò)大，能源消耗成為日益嚴(yán)重和備受關(guān)注的問題，因?yàn)槟茉聪膶?duì)成本和環(huán)境的影響都極大。總的發(fā)展趨勢(shì)是從簡(jiǎn)單的粗曠的滿足功能/性能需求的方式向精細(xì)的優(yōu)化節(jié)能的方向發(fā)展。圖一.多數(shù)據(jù)中心調(diào)度算法的參考體系結(jié)構(gòu)1云計(jì)算數(shù)據(jù)中心資源調(diào)度方案分析2.1Google解決方案Google也許

3、是業(yè)界最早使用和發(fā)起云計(jì)算的廠家之一。因商業(yè)保密，其大部分技術(shù)實(shí)現(xiàn)內(nèi)容并未被外界了解。從其公開發(fā)表的文獻(xiàn)可及了解到其關(guān)于云數(shù)據(jù)中心，搜索引擎網(wǎng)絡(luò)設(shè)計(jì),分布式文件系統(tǒng)以及并行處理模式MapReduce的概要設(shè)計(jì)。Google云計(jì)算平臺(tái)架構(gòu)，其基礎(chǔ)平臺(tái)是建立在MapReduce結(jié)構(gòu)之上。利用了類似Hadoop的資源調(diào)度管理方法。不過Google自己設(shè)計(jì)了文件系統(tǒng)（GFShunkserver）,數(shù)據(jù)庫(kù)系統(tǒng)（BigTable）以及其它相關(guān)系統(tǒng)。2.2Amazon解決方案Amazon目前被認(rèn)為推廣云計(jì)算應(yīng)用最為成功的廠家之一。它成功地推出了

4、EC2(彈性云計(jì)算)，SQS(簡(jiǎn)單消息存儲(chǔ)服務(wù))，S3(簡(jiǎn)單存儲(chǔ)服務(wù))，SimpleDB(簡(jiǎn)單數(shù)據(jù)庫(kù))等近十種云服務(wù)。Amazon的云計(jì)算平臺(tái)體系結(jié)構(gòu)，其中（EBS:ElasticBlockService,ProvidingtheBlockInterface,StoringVirtualMachineImages）。2.3IBM解決方案IBM云計(jì)算調(diào)度是建立在虛擬計(jì)算資源之上,圖-10所示IBM云計(jì)算基礎(chǔ)平臺(tái)建立在開源Xen虛擬linux平臺(tái)和Hadoop集群平臺(tái)之上，采用了IBMTivoli網(wǎng)絡(luò)資源監(jiān)控和WebSphere網(wǎng)絡(luò)服

5、務(wù)。由此可見其核心的調(diào)度是建立在HadoopMapReduce框架之上。2.4HP解決方案HP很早就開始數(shù)據(jù)中心的研究工作.下式描述了其數(shù)據(jù)中心基于成本考慮的各要素：建筑空間占用成本，供電，制冷，維護(hù)成本等。Cotst_total=Cost_space+Cost_power+Cost_cooling+Cost_operations(1)2.5VMWARE解決方案VMWare成為服務(wù)器虛擬化的主要提高商。虛擬化是提高資源利用效率的有效手段，被眾多云計(jì)算提供商采用。其數(shù)據(jù)中心虛擬機(jī)的動(dòng)態(tài)分配管理主要使用使用VMwareInfrastr

6、ucture3實(shí)現(xiàn)，主要特點(diǎn)是體現(xiàn)在虛擬共享，容災(zāi)備份等。將虛擬化優(yōu)勢(shì)擴(kuò)展到遠(yuǎn)程和分支機(jī)構(gòu)，從而在單一控制點(diǎn)中即可實(shí)現(xiàn)以下目標(biāo)：更加靈活地遠(yuǎn)程管理每個(gè)站點(diǎn)的虛擬機(jī)；在中央數(shù)據(jù)中心托管可遠(yuǎn)程訪問的虛擬機(jī)；同時(shí)使用分布式虛擬機(jī)和集中式虛擬機(jī)。目前VMWare公司數(shù)據(jù)中心的工作還側(cè)重在資源虛擬化，容災(zāi)備份等方面。對(duì)于資源的動(dòng)態(tài)調(diào)度管理方面考慮較少，主要考慮通過虛擬化提高資源利用率（原則）和動(dòng)態(tài)遷移虛擬機(jī)以及容災(zāi)備份等。Vmware通過建立遠(yuǎn)端服務(wù)器群，可實(shí)現(xiàn)雙中心互備的虛擬化IT架構(gòu)，在運(yùn)營(yíng)端和遠(yuǎn)端之間啟用vReplicator服務(wù)，可

7、以實(shí)現(xiàn)運(yùn)營(yíng)端虛擬機(jī)應(yīng)用實(shí)時(shí)復(fù)制到遠(yuǎn)端ESX主機(jī)存儲(chǔ)，達(dá)到異地容災(zāi)的目的。vReplicator針對(duì)虛擬機(jī)操作，實(shí)時(shí)監(jiān)控虛擬機(jī)磁盤文件的數(shù)據(jù)變化，在完整磁盤數(shù)據(jù)復(fù)制操作完成后，每隔5分鐘，自動(dòng)將兩地磁盤數(shù)據(jù)間的差異數(shù)據(jù)復(fù)制到容災(zāi)端，當(dāng)運(yùn)營(yíng)端服務(wù)器出現(xiàn)異常中斷，服務(wù)中斷，vReplicator自動(dòng)將容災(zāi)端處于待機(jī)狀態(tài)的備份虛擬機(jī)進(jìn)行Failover操作，備份機(jī)數(shù)據(jù)及設(shè)置與源虛擬機(jī)完全相同，因此啟動(dòng)后即刻可以接管應(yīng)用，重新開始對(duì)最終用戶提供服務(wù)。2.6其它廠家解決方案以上廠家提供的方案多是建立在私有云上，不開源。開源的適用于海量信息處理

8、的HadoopMapReduce和小型云計(jì)算平臺(tái)Eucalyptus是兩類值得了解的解決方案。實(shí)際上很多前面介紹的廠家包括Google,IBM等都在基礎(chǔ)架構(gòu)上采用了MapReduce設(shè)計(jì)思想.對(duì)于小型云計(jì)算平臺(tái)Eucalyptus的資源調(diào)度分配管理