資源描述:
《面向科學(xué)計算和海量數(shù)據(jù)處理的云計算平臺》由會員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、面向科學(xué)計算和海量數(shù)據(jù)處理的云計算平臺 編者按:為總結(jié)和提煉近年來教育信息化建設(shè)成果,了解高校對云服務(wù)的需求,探討高校云服務(wù)體系和運(yùn)營模式,發(fā)掘云服務(wù)研究領(lǐng)域?qū)<?,從今?月份開始,本刊在全國范圍內(nèi)連續(xù)舉辦了八次“高校云服務(wù)建設(shè)調(diào)研座談會”。座談會得到各地高校信息化建設(shè)者的熱情支持,先后有20多所知名高校在會上分享了云服務(wù)建設(shè)的成果,本刊特選編其中部分特色明顯的案例,推出“高校云服務(wù)建設(shè)”系列專欄文章,供廣大教育信息化建設(shè)者及相關(guān)專家學(xué)習(xí)、交流、參考?! ∫?、需求分析 ?。?)大型工程分析與科
2、學(xué)研究的數(shù)值模擬要求的計算量與存儲量都是巨大的,甚至是海量的。多CPU并行機(jī)與大規(guī)模的集群環(huán)境為用戶求解數(shù)百萬、數(shù)千萬甚至更多的自由度提供了可能,同時也為復(fù)雜和大規(guī)模的工程與科學(xué)計算找到了出路。石油勘探、地震預(yù)測預(yù)報、氣候模擬與天氣預(yù)報、人體基因與遺傳工程、醫(yī)學(xué)圖像的快速處理、海洋環(huán)流和超導(dǎo)模擬等。此外,還可以作為超級服務(wù)器用于信息服務(wù)、事務(wù)處理、決策支持等進(jìn)行應(yīng)用。6 ?。?)信息技術(shù)的不斷發(fā)展,使得各行業(yè)的信息量呈爆炸性增長趨勢,一些科學(xué)應(yīng)用中的數(shù)據(jù)量已經(jīng)從幾十個TeraBytes發(fā)展到Pe
3、taBytes,并且在不斷擴(kuò)大。2000年科學(xué)應(yīng)用每年需要處理的總數(shù)據(jù)量已經(jīng)達(dá)到數(shù)百TeraBytes,2010年科學(xué)應(yīng)用每年所要處理的數(shù)據(jù)量預(yù)計將要達(dá)到數(shù)百PetaBytes;數(shù)據(jù)規(guī)模指數(shù)級的增長已經(jīng)超過了由摩爾定律所預(yù)測的計算能力和存儲空間的增長。 ?。?)高能物理學(xué)實(shí)驗(yàn):大型強(qiáng)子對撞器(LargeHadronCollider,LHC)通過把高度活躍的質(zhì)子以超快速度撞擊到一起來完成高能物理學(xué)實(shí)驗(yàn),2009年夏天啟動以來,這些物理學(xué)實(shí)驗(yàn)每年都會產(chǎn)生數(shù)PB的原始數(shù)據(jù)和派生數(shù)據(jù),預(yù)計會持續(xù)15年。
4、分布于世界各地的科學(xué)家將會以協(xié)作的方式對這些數(shù)據(jù)進(jìn)行科學(xué)分析。 二、國內(nèi)外同類云計算平臺對比分析 1.國外云計算平臺 ?。?)Google公司針對Google特定的網(wǎng)絡(luò)應(yīng)用程序而定制的專屬云計算平臺。針對內(nèi)部網(wǎng)絡(luò)數(shù)據(jù)規(guī)模超大的特點(diǎn),Google提出了一整套基于分布式并行集群方式的基礎(chǔ)架構(gòu),利用軟件的能力來處理集群中經(jīng)常發(fā)生的節(jié)點(diǎn)失效問題。這個平臺先是為Google最重要的搜索應(yīng)用提供服務(wù),現(xiàn)在已經(jīng)擴(kuò)展到其他應(yīng)用程序?! 。?)IBM于2007年11月推出了藍(lán)云計算平臺。通過架構(gòu)一個分布的、可
5、全球訪問的資源結(jié)構(gòu),使數(shù)據(jù)中心在類似互聯(lián)網(wǎng)的環(huán)境下運(yùn)行計算。包括Xen和PowerVM虛擬Linux操作系統(tǒng)映像以及Hadoop并行工作負(fù)載安排?! 。?)亞馬遜憑借其簡單存儲服務(wù)和彈性計算云被運(yùn)來越多的人所熟知。通過這兩個平臺,個人或者企業(yè)可以將他們的數(shù)據(jù)和應(yīng)用放置到亞馬遜提供的云平臺上去,亞馬遜已成為全球最成功的公共云服務(wù)中心之一?! ?.國內(nèi)云計算平臺6 (1)北京工業(yè)大學(xué)于2009年啟動云計算實(shí)驗(yàn)平臺項(xiàng)目,搭建了新一代的基于云計算的高性能計算中心和數(shù)據(jù)中心。是面向校內(nèi)、校際及社會開放的
6、公共計算平臺,能夠提供優(yōu)質(zhì)、穩(wěn)定和可靠的高性能計算服務(wù)?! 。?)2008年3月,無錫市政府共建了第一個云計算中心,這是一個政府投資的軟件園的平臺,這個軟件園平臺目的為不同軟件企業(yè)提供共享、集中的軟件開發(fā)和資源的共享環(huán)境。 ?。?)2008年,中化公司在業(yè)內(nèi)乃至全球建立起了第一個真正意義上的“企業(yè)云計算平臺”。該平臺實(shí)現(xiàn)了包括硬件、軟件和服務(wù)在內(nèi)的整體系統(tǒng)的虛擬化和管理,形成了可托管多種不同應(yīng)用,根據(jù)需要動態(tài)地部署、配置及回收應(yīng)用資源?! 。?)中科院超算中心(自研)、清華大學(xué)、上海超算中心(L
7、SF調(diào)度)。 3.國內(nèi)高性能計算平臺建設(shè)的狀況分析 ?。?)已有多個自行建設(shè)的千萬億次項(xiàng)目立項(xiàng),并初步取得了一些成果?! 。?)在建設(shè)過程中過于重視理論計算峰值的實(shí)現(xiàn),嚴(yán)重缺乏對科學(xué)計算的管理、維護(hù)、節(jié)能和使用?! 。?)沒有能夠在真正意義上實(shí)現(xiàn)具有國際領(lǐng)先水平的海量計算和數(shù)據(jù)處理,也對進(jìn)一步提高計算性能造成了嚴(yán)重的瓶頸。 三、基本內(nèi)涵與使命 1.基本內(nèi)涵6 ?。?)實(shí)現(xiàn)網(wǎng)絡(luò)環(huán)境下的計算資源、存儲資源和數(shù)據(jù)資源的有效共享,提高資源利用率并能快速響應(yīng)多種研究項(xiàng)目所需的資源環(huán)境?! 。?)支撐
8、多種研發(fā)平臺,為研究者提供獨(dú)立計算環(huán)境;可以成為網(wǎng)格計算的支撐平臺,提升計算的靈活性和便捷性?! 。?)在大規(guī)模集群環(huán)境的基礎(chǔ)上,開展在物聯(lián)網(wǎng)環(huán)境下如何對海量的數(shù)據(jù)集合進(jìn)行有效管理等基礎(chǔ)研究?! ?.使命 運(yùn)用虛擬化技術(shù)讓各種應(yīng)用運(yùn)行在共享的資源上,運(yùn)用自動化技術(shù)完成應(yīng)用之間的資源調(diào)配,提升學(xué)校公共計算服務(wù)平臺的功能和安全性,有效改善學(xué)校大型計算設(shè)備及通用、專用軟件的使用條件,培養(yǎng)出一批具備高性能計算能力和高素質(zhì)的外圍科研梯隊,并以本平臺為依托產(chǎn)生具有標(biāo)志性的研究成果,為把我校建成為國內(nèi)一流、