資源描述:
《linux高性能集群》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、Linux高性能集群 本文是高性能集群系列文章的第三部分。在本文中,筆者以IBMeServerCluster1300為例介紹了Beodal法則說(shuō)明了這種情況。運(yùn)行在同一主板上多個(gè)CPU的Unix和NT+線程屬于這一類型。SMP系統(tǒng)合適采用這種方法?! 《郈PU多任務(wù)操作系統(tǒng)+消息傳遞:在SMP系統(tǒng)中,由于采用共享內(nèi)存,所以CPU通信的時(shí)間幾乎可以忽略。但是在象集群這種系統(tǒng)中,通信時(shí)間成為不得不考慮的因素。這時(shí),使用線程是一種很奢侈的方法。這種情況下,消息傳遞是一種比較好的方法。(本系列文章的第二部分解釋了這種情況)。同一個(gè)主板或多個(gè)主板上的多個(gè)CPU+Unix和NT+
2、消息傳遞屬于這種類型?! eoezzo屬于分布式文件系統(tǒng)(確切的說(shuō),NFS只是網(wǎng)絡(luò)文件系統(tǒng)),GFS屬于并行文件系統(tǒng),而Backend-database則屬于不同于文件共享的另一種形式的共享?! ?.2.1rsync rsync是一種簡(jiǎn)單的文件共享實(shí)現(xiàn)方式。集群中的每個(gè)節(jié)點(diǎn)都有一份數(shù)據(jù)復(fù)本,復(fù)本間使用rsync進(jìn)行同步。因?yàn)楣?jié)點(diǎn)需要的數(shù)據(jù)就在本地,所以這種方法具有很高的可用性,不會(huì)出現(xiàn)單點(diǎn)失效現(xiàn)象?! ∪绻枰墓蚕淼臄?shù)據(jù)量很小,而且很少更新時(shí),可以采用這種方式。靜態(tài)網(wǎng)頁(yè)和小的FTP站點(diǎn)的可以使用這種共享方式?! ?.2.2NFS 這也是一種容易實(shí)現(xiàn)的方式。存
3、儲(chǔ)節(jié)點(diǎn)通過NFS將自己本地的文件輸出,其他節(jié)點(diǎn)則把存儲(chǔ)節(jié)點(diǎn)輸出的文件系統(tǒng)mount到本地文件系統(tǒng)。NFS方式的存在兩個(gè)很大的缺點(diǎn): 性能差:因?yàn)樗械奈募L問都必須經(jīng)過網(wǎng)絡(luò)和NFS服務(wù)器,所以在訪問流量比較大的情況下,網(wǎng)絡(luò)帶寬和NFS服務(wù)器都會(huì)成為系統(tǒng)的瓶頸?! 吸c(diǎn)失效:如果NFS服務(wù)器的系統(tǒng)失效或者網(wǎng)絡(luò)失效都會(huì)使得其他節(jié)點(diǎn)無(wú)法得到數(shù)據(jù),從12下一頁(yè)....,。而使整個(gè)集群系統(tǒng)癱瘓?! ‘?dāng)然使用多個(gè)互為備份的NFS服務(wù)器可以改善性能和避免單點(diǎn)失效,但是這樣又會(huì)帶來(lái)如何實(shí)時(shí)保持備份服務(wù)器間數(shù)據(jù)一致性的問題。NFS方式適合于共享訪問數(shù)據(jù)量不大的小型集群系統(tǒng)?! ?.
4、2.3GFS GFS(GlobalFileSystem)實(shí)現(xiàn)了存儲(chǔ)設(shè)備的網(wǎng)絡(luò)共享。這些存儲(chǔ)設(shè)備可以是共享SCSI(SharedSCSI)和共享通道(FibreChannel-FC)。GFS包裝這些存儲(chǔ)設(shè)備使得它們好像節(jié)點(diǎn)本地的文件系統(tǒng)。GFS的主要優(yōu)點(diǎn)在于: 高可用性:如果一個(gè)GFS客戶失效,數(shù)據(jù)還可以通過其他GFS客戶訪問?! U(kuò)展性:因?yàn)椴恍枰行姆?wù)器,所有很容易擴(kuò)展存儲(chǔ)容量和訪問帶寬?! FS可以將物理上分離的存儲(chǔ)設(shè)備虛擬為一個(gè)存儲(chǔ)而且能平衡訪問負(fù)載。GFS還實(shí)現(xiàn)了文件鎖和實(shí)時(shí)文件系統(tǒng)?! ?.2.4Intermezzo Intermezzo實(shí)現(xiàn)了一
5、個(gè)分布式的文件系統(tǒng)。它采用客戶/服務(wù)器模式。服務(wù)器擁有權(quán)威的數(shù)據(jù),客戶節(jié)點(diǎn)僅有本地緩沖的版本。它們通過普通的網(wǎng)絡(luò)進(jìn)行同步。Intermezzo支持?jǐn)嚅_連接下文件操作。在下次恢復(fù)連接時(shí),它會(huì)集成本地的改動(dòng)到服務(wù)器上。Intermezzo擁有象GFS一樣的可用性和可擴(kuò)展性。但是它無(wú)法保證數(shù)據(jù)的實(shí)時(shí)一致性?! ?.2.5BackendDatabase 基于后端數(shù)據(jù)庫(kù)的共享是完全不同于文件共享的方式。后端數(shù)據(jù)庫(kù)系統(tǒng)解決了數(shù)據(jù)的一致性、性能、可用性和可擴(kuò)展性問題。但是數(shù)據(jù)庫(kù)的訪問方法要比文件訪問復(fù)雜的多。 4并行化應(yīng)用程序 并行化應(yīng)用程序,使其更高效的運(yùn)行是使用Be
6、o或MPI消息,或者增加程序執(zhí)行的線程從而達(dá)到程序的并行化。顯式并行化通常難以實(shí)現(xiàn)和調(diào)試。為了簡(jiǎn)化顯式并行化,某些開發(fā)庫(kù)中增加了一些函數(shù)用于簡(jiǎn)化標(biāo)準(zhǔn)并行方法的實(shí)現(xiàn)。上一頁(yè)12....,。