資源描述:
《hadoop并非完美8個(gè)代替 hdfs 的絕佳方案.doc》由會員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫。
1、hadoop并非完美8個(gè)代替hdfs的絕佳方案 Hadoop并非完美8個(gè)代替HDFS的絕佳方案HDFS(HadoopDistributedFileSystem)是Hadoop項(xiàng)目的核心子項(xiàng)目,是分布式計(jì)算中數(shù)據(jù)存儲管理的基礎(chǔ),坦白說HDFS是一個(gè)不錯(cuò)的分布式文件系統(tǒng),它有很多的優(yōu)點(diǎn),但也存在有一些缺點(diǎn),包括不適合低延遲數(shù)據(jù)訪問、無法高效存儲大量小文件、不支持多用戶寫入及任意修改文件。 Apache軟件基金會成立的時(shí)候,HDFS就一直在想辦法提高它的性能和可用性,坦白說,這也許對試點(diǎn)項(xiàng)目、非常規(guī)項(xiàng)目、要求不嚴(yán)格的大環(huán)境中比較適用,但是對于某些Hadoop用戶來說,他們對于性能、可用性、企業(yè)
2、級特性有較高的要求,且注重直接附加存儲(DAS)架構(gòu),特別是老版本的Hadoop沒有高性能的主節(jié)點(diǎn),那么接下來8個(gè)產(chǎn)品就是代替HDFS的絕佳方案?! ?.Cassandra(DataStax)并非一個(gè)完全的文件系統(tǒng),而是一個(gè)開源、NoSQL鍵值(key-value)商店?! ∵@給依靠快速數(shù)據(jù)訪問的Web應(yīng)用多了一個(gè)HDFS選擇?! 『唵蝸碚f它把Hadoop融合在Cassandra里面,支持Web應(yīng)用通過Hadoop快速訪問數(shù)據(jù),而Hadoop可以快速訪問流入Cassandra的數(shù)據(jù)?! ?.CephCeph是一個(gè)開源、多管齊下的操作系統(tǒng),因?yàn)槠涓咝阅懿⑿形募到y(tǒng)的特性,有人甚至認(rèn)為它是基于H
3、adoop環(huán)境下的HDFS的接班人,因?yàn)樽詘x年就有研究者在尋找這個(gè)特性?! ?.Cleversafe分散存儲網(wǎng)絡(luò)本周一Cleversafe宣布將融合Hadoop的并行編程技術(shù)和自己的分散存貯網(wǎng)絡(luò)?! ∑湓硎峭ㄟ^把整個(gè)元數(shù)據(jù)分布在集群中(不是依靠單個(gè)主節(jié)點(diǎn)、不是依靠復(fù)制),Cleversafe表示這比HDFS更快、更穩(wěn)定、更具擴(kuò)展性?! ?.GPFS(IBM)IBM一直在向高性能要求的用戶銷售其并行文件系統(tǒng),包括世界上最快的超級電腦,xx年它推出了基于Hadoop的GPFS,并宣布GPFS不共享集群版本比Hadoop快多了,因?yàn)樗趦?nèi)核級別中運(yùn)行,而不是在操作系統(tǒng)中運(yùn)行例如HDFS?! ?
4、.Isilon(EMC)EMC提供Hadoop發(fā)行版已經(jīng)一年了,但xx年1月轉(zhuǎn)型為HDFS企業(yè)級別的新方案Isilon的OneFS文件系統(tǒng)?! ∫?yàn)镮silon可以讀取NFS,CIFS以及HDFS協(xié)議,一個(gè)單獨(dú)的IsilonNAS系統(tǒng)可以攝入、處理、分析數(shù)據(jù)?! ?.LustreHPC存儲提供商Xyratex增在xx年的一份報(bào)道中寫到,基于Lustre的集群會比基于HDFS的集群更快更便宜?! ?.MapR文件系統(tǒng)MapR文件系統(tǒng)在業(yè)內(nèi)已經(jīng)具有一定知名度了,不僅MapR宣布它自己的文件系統(tǒng)比HDFS快2-5倍(實(shí)際上有20倍),它還具有鏡像、快照、高性能這些企業(yè)用戶喜歡的特點(diǎn)?! ?.Net
5、AppHadoop開放方案NetApp重新改版了物理Hadoop結(jié)構(gòu)把HDFS放在磁盤陣列中,通過這樣來達(dá)到更快、更穩(wěn)定、更安全的Hadoop工作。 沒有思想自由,就不可能有學(xué)術(shù)創(chuàng)新?! 〃D―周海中?! ?nèi)容僅供參考