安防時(shí)代淺談集群存儲(chǔ)技術(shù)

《安防時(shí)代淺談集群存儲(chǔ)技術(shù)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。

1、隨著網(wǎng)絡(luò)視頻行業(yè)不斷走向成熟，越來越多的企業(yè)都參與到視頻網(wǎng)站建設(shè)屮來，競爭愈加激烈，而帶寬、服務(wù)器、存儲(chǔ)、編解碼等各項(xiàng)技術(shù)直接關(guān)系到競爭優(yōu)勢。存儲(chǔ)系統(tǒng)作為視頻數(shù)據(jù)的載體，其IO性能和可擴(kuò)展性、可靠性對整套系統(tǒng)架構(gòu)起著至關(guān)重要的作用。集中存儲(chǔ)在面對海量數(shù)據(jù)存儲(chǔ)時(shí),以往用戶會(huì)采用傳統(tǒng)的使用方法：集中存儲(chǔ)，將所冇的數(shù)據(jù)存放丁?一個(gè)單一大容屋盤陣或者存儲(chǔ)服務(wù)器中，并釆用較高等級(jí)的RAID進(jìn)行數(shù)據(jù)保護(hù)（如RAID5、RAID6等）?！黾?MIIFTPaMI匚OA*MIKWMHSii這種類型的方案確實(shí)給用戶帶來了

2、一定的益處，那就是數(shù)據(jù)可以集中管理，用戶不用忙于數(shù)據(jù)遷移工作。但集中存儲(chǔ)方案中整套業(yè)務(wù)的町靠性完全集中于單個(gè)存儲(chǔ)設(shè)備Z上，用戶將所有數(shù)據(jù)集屮存放將會(huì)帶來集屮崩潰的反作用。而且故障發(fā)牛點(diǎn)也不僅局限于磁盤，網(wǎng)絡(luò)、RAID控制器、供電、系統(tǒng)、人為誤操作等各類故障都潛在威脅著數(shù)據(jù)安全，任何一點(diǎn)的故障都可能造成服務(wù)中斷，甚至數(shù)據(jù)丟失。數(shù)據(jù)存儲(chǔ)采用集屮式存儲(chǔ)時(shí)，所有的數(shù)據(jù)讀寫都必須通過其有限的10總線。尤其在視頻分享一類的應(yīng)用中，大量用八并發(fā)訪問會(huì)給存儲(chǔ)系統(tǒng)帶來巨大的10壓力。分散存儲(chǔ)數(shù)據(jù)的分散存儲(chǔ)結(jié)構(gòu)將服務(wù)器的

3、計(jì)算資源與存儲(chǔ)資源緊緊地綁定在一起,等于是各項(xiàng)資源被困在某一處。在計(jì)算資源方面，即使是一部分熱點(diǎn)數(shù)據(jù)前端的應(yīng)用服務(wù)器計(jì)算處理能力不足，大部分較為冷門數(shù)據(jù)前端的應(yīng)用服務(wù)器也得不到充分利用。在存儲(chǔ)資源方面，也存在部分存儲(chǔ)系統(tǒng)空間被耗盡，而萇他存儲(chǔ)系統(tǒng)卻只有小部分?jǐn)?shù)據(jù)。這樣，山于資源難以靈活調(diào)度，龐大的計(jì)算資源和存儲(chǔ)資源利用率低F。在數(shù)據(jù)雖不斷擴(kuò)大的情況下，存儲(chǔ)的規(guī)模也會(huì)不斷擴(kuò)展，整套存儲(chǔ)平臺(tái)的管理維護(hù)工作的難處也就逐漸地凸現(xiàn)出來，平臺(tái)的潛在故障對數(shù)據(jù)安全性的威脅也逐漸增人。BffKSSFTPMftHOAM

4、flIWMBAfl數(shù)據(jù)一口被分散存儲(chǔ)到多套存儲(chǔ)系統(tǒng)上，各存儲(chǔ)系統(tǒng)的網(wǎng)絡(luò)、磁盤、軟件BUG、人為誤操作等各種危險(xiǎn)故障，都會(huì)給部分?jǐn)?shù)據(jù)造成威脅。并「L,隨著規(guī)模擴(kuò)大，各種故障出現(xiàn)的概率也就越大。管理員為了保障數(shù)據(jù)的安全而忙于處理數(shù)據(jù)備份、遷移，過多的人為參與也增加了課操作的危險(xiǎn)。集群存儲(chǔ)冃前，非結(jié)構(gòu)化數(shù)據(jù)爆炸性增長、傳統(tǒng)存儲(chǔ)系統(tǒng)難以滿足需求，于是誕生了一種新型數(shù)據(jù)存儲(chǔ)方案：集群存儲(chǔ)。它采用數(shù)據(jù)分布到集群中各節(jié)點(diǎn)上的存儲(chǔ)方式，提供單一的使用接口打界面，使川戶對以方便地對所冇數(shù)據(jù)進(jìn)行統(tǒng)一使川與管理。集群存儲(chǔ)將

5、集群中所冇磁盤設(shè)備整合到單?一?的共亨存儲(chǔ)池屮提供給前端的丿垃川服務(wù)器，極人提高了磁盤利川率。集群存儲(chǔ)系統(tǒng)同吋集合了NAS的數(shù)據(jù)共享和SAN的高性能等特性，可以為非結(jié)構(gòu)化數(shù)據(jù)提供具備極高10帶寬和靈活可擴(kuò)展性的存儲(chǔ)解決方案。FTPK?BOAKSil集群存儲(chǔ)現(xiàn)在已經(jīng)發(fā)展到了一個(gè)成熟的時(shí)期，多款成熟的產(chǎn)品已經(jīng)在不同的生產(chǎn)領(lǐng)域得到實(shí)際使用，幫助企業(yè)提升競爭力。例如，著名視頻分享網(wǎng)站Youtube,使用Google的GFS等集樣存儲(chǔ)技術(shù)搭建了極具伸縮性和性價(jià)比的集群存儲(chǔ)架構(gòu)，以支撐極高的并發(fā)訪問量和視頻上傳量

6、，具有高聚合帶寬和高可用的特點(diǎn)，并很好地控制了軟硬件費(fèi)用支出，為業(yè)務(wù)長期運(yùn)轉(zhuǎn)打下了良好基礎(chǔ)。LoongStore大規(guī)模集群存儲(chǔ)系統(tǒng)是北京龍存科技有限責(zé)任公司的旗艦產(chǎn)品，具有臼主知識(shí)產(chǎn)權(quán)。那么，該產(chǎn)品是如何解決視頻分享網(wǎng)站所關(guān)心的存儲(chǔ)難題的呢？如何滿足視頻分拿不斷增氏的10帶寬和存儲(chǔ)容雖盂求?LoongStorc人規(guī)模集群存儲(chǔ)系統(tǒng)由應(yīng)用服務(wù)器集群、元數(shù)據(jù)服務(wù)器集群、智能存儲(chǔ)服務(wù)器集群等三部分組成，各部分都以通川服務(wù)器破件為構(gòu)建單元，并R都具冇動(dòng)態(tài)擴(kuò)展能力。當(dāng)視頻分享服務(wù)器增加、10帶寬需求增加時(shí),川戶可

7、以動(dòng)態(tài)添加智能存儲(chǔ)服務(wù)器，以獲得更高的聚合帶寬和更人的存儲(chǔ)容量。存儲(chǔ)集樣中有軟硬件故障是否會(huì)影響業(yè)務(wù)正常進(jìn)行?LoongStore大規(guī)模集群存儲(chǔ)系統(tǒng)在集群環(huán)境中使用了數(shù)據(jù)高可用技術(shù)，可以避免因節(jié)點(diǎn)、網(wǎng)絡(luò)、系統(tǒng)等故障和人為誤操作引起的業(yè)務(wù)中斷和數(shù)據(jù)丟失，系統(tǒng)內(nèi)置的故障恢復(fù)流程可以在無用戶參與的情況下完成處理。LoongStore已經(jīng)被國內(nèi)多個(gè)大型視頻分享網(wǎng)站所采用。山于使用通用的服務(wù)器硬件，用戶無需考慮兼容性、價(jià)格、復(fù)雜的配置等因素。在實(shí)際使用中，LoongStore存放著上千萬個(gè)視頻短篇，提供數(shù)百TB

8、的存儲(chǔ)容量、高達(dá)數(shù)GB的聚合帶寬，企業(yè)以更低的支出成木獲得了更高的10性能，管理員也從原來數(shù)據(jù)遷移與故障恢復(fù)工作中脫離出來。