海量分布式存儲的概念與技術(shù)

《海量分布式存儲的概念與技術(shù)》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、海量分布式存儲的概念與技術(shù)主講：XXXPPT：XXXPage?2目錄海量分布式存儲的概念01存儲模式選擇02網(wǎng)絡(luò)存儲技術(shù)直連式存儲技術(shù)對象存儲技術(shù)數(shù)據(jù)庫策略03Page?3一、概念如今的互聯(lián)網(wǎng)正處于一個信息爆炸的時代。面對信息爆炸的互聯(lián)網(wǎng)，對信息的存儲和處理也就產(chǎn)生了海量的數(shù)據(jù)。Page?4概念海量數(shù)據(jù)是指數(shù)據(jù)量極大，往往是Terabyte(10^12bytes)、Petabyte(10^15bytes)甚至Exabyte(10^18bytes)級的數(shù)據(jù)集合。存儲這些海量信息不但要求存儲設(shè)備有很大的儲

2、存容量，且還需要大規(guī)模數(shù)據(jù)庫來存儲和處理這些數(shù)據(jù)，在滿足通用關(guān)系數(shù)據(jù)庫技術(shù)要求的同時，更需要對海量存儲的模式、數(shù)據(jù)庫策略及應(yīng)用體系架構(gòu)有更高的設(shè)計考慮。Page?5二、存儲模式的選擇存儲系統(tǒng)的存儲模式影響著整個海量數(shù)據(jù)存儲系統(tǒng)的性能，為了提供高性能的海量數(shù)據(jù)存儲系統(tǒng)，應(yīng)該考慮選擇良好的海量存儲模式對于海量數(shù)據(jù)而言，實現(xiàn)單一設(shè)備上的存儲顯然是不合適的，甚至是不可能的。分布式是解決這種問題的一個很好的解決方案。存儲分類（根據(jù)服務(wù)器類型）Page?62.1直連式存儲（DAS）其存儲設(shè)備通過電纜（通常是SCS

3、I接口電纜）或者光纖直接連到服務(wù)器，I/O請求直接發(fā)送到存儲設(shè)備，它依賴于服務(wù)器，本身不帶有任何存儲操作系統(tǒng)。典型DAS結(jié)構(gòu)Page?72.1直連式存儲（DAS）主要問題和不足：直連式存儲依賴服務(wù)器主機操作系統(tǒng)進(jìn)行數(shù)據(jù)的IO讀寫和存儲維護管理，數(shù)據(jù)備份和恢復(fù)要求占用服務(wù)器主機資源（包括CPU、系統(tǒng)IO等），數(shù)據(jù)備份通常占用服務(wù)器主機資源20-30%，因此許多企業(yè)用戶的日常數(shù)據(jù)備份常常在深夜或業(yè)務(wù)系統(tǒng)不繁忙時進(jìn)行，以免影響正常業(yè)務(wù)系統(tǒng)的運行。直連式存儲的數(shù)據(jù)量越大，備份和恢復(fù)的時間就越長，對服務(wù)器硬件的

4、依賴性和影響就越大。無論直連式存儲還是服務(wù)器主機的擴展，從一臺服務(wù)器擴展為多臺服務(wù)器組成的群集，或存儲陣列容量的擴展，都會造成業(yè)務(wù)系統(tǒng)的停機，從而給企業(yè)帶來經(jīng)濟損失Page?82.1直連式存儲（DAS）由于DAC本身弊端與網(wǎng)絡(luò)技術(shù)的崛起，直連式存儲(DAS)已顯得非常力不從心，存儲模式從以服務(wù)器為中心轉(zhuǎn)向以數(shù)據(jù)為中心的網(wǎng)絡(luò)存儲模式，網(wǎng)絡(luò)存儲也成為目前典型存儲技術(shù)Page?92.2網(wǎng)絡(luò)存儲方式存儲區(qū)域網(wǎng)絡(luò)(SAN)網(wǎng)絡(luò)附加存儲(NAS)單擊此處添加文字單擊此處添加文字單擊此處添加文字單擊此處添加文字網(wǎng)絡(luò)

5、存儲方式Page?102.2.1網(wǎng)絡(luò)附加存儲(NAS)或稱網(wǎng)絡(luò)接入存儲，采用網(wǎng)絡(luò)技術(shù)，通過網(wǎng)絡(luò)交換機連接存儲系統(tǒng)和服務(wù)器主機，建立專用于數(shù)據(jù)存儲的存儲私網(wǎng)。它擁有自己的文件系統(tǒng)，通過NFS或CIFS這兩種網(wǎng)絡(luò)文件系統(tǒng)對外提供文件訪問服務(wù)。NAS將存儲設(shè)備通過標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)連接到現(xiàn)有的網(wǎng)絡(luò)上來提供數(shù)據(jù)和文件服務(wù)。Page?112.2.1網(wǎng)絡(luò)附加存儲(NAS)優(yōu)缺點：NAS管理簡單、擴容方便，統(tǒng)一的文件系統(tǒng)使數(shù)據(jù)共享變得非常簡單，所以其最大的優(yōu)點是跨平臺性很好，但NAS服務(wù)器在網(wǎng)絡(luò)存儲中處于數(shù)據(jù)通路上

6、，當(dāng)服務(wù)請求激增時存在I/O瓶頸，性能是NAS的最大問題Page?12它是存儲設(shè)備與服務(wù)器經(jīng)由高速網(wǎng)絡(luò)設(shè)備連接而形成的存儲專用網(wǎng)絡(luò)。SAN一般基于光纖通道FC(FibreChannel)或iSCSI(internetSCSI)構(gòu)建，它是塊級的存儲2.2.2存儲區(qū)域網(wǎng)絡(luò)(SAN)Page?132.2.2存儲區(qū)域網(wǎng)絡(luò)(SAN)優(yōu)缺點：SAN的優(yōu)點是高容量、高可靠性、低延遲缺點是SAN沒有一個統(tǒng)一的存儲系統(tǒng)接口，對存儲設(shè)備的共享訪問存在數(shù)據(jù)的完整性與安全性問題，設(shè)備的跨平臺性較差Page?142.3對象存儲

7、技術(shù)對象存儲（Object-BasedStorage,OBS)綜合了NAS和SAN的優(yōu)點，同時具有SAN的高速直接訪問和NAS的數(shù)據(jù)共享等優(yōu)勢，提供了具有高性能、高可靠性、跨平臺以及安全的數(shù)據(jù)共享的存儲體系結(jié)構(gòu)。Page?152.3對象存儲技術(shù)對象(Object)包含了文件數(shù)據(jù)以及相關(guān)的屬性信息，可以進(jìn)行自我管理OSD（Object-basedStorageDevice)一個智能設(shè)備，OSD為存儲對象數(shù)據(jù)的設(shè)備，它是一個智能設(shè)備，包括處理器、RAM內(nèi)存、網(wǎng)絡(luò)接口、存儲介質(zhì)等以及運行在其中的控制軟件MD

8、S元數(shù)據(jù)服務(wù)器(MetadataServer)系統(tǒng)提供元數(shù)據(jù)、Cache一致性等服務(wù)網(wǎng)絡(luò)連接文件系統(tǒng)文件系統(tǒng)運行在客戶端上，將應(yīng)用程序的文件系統(tǒng)請求傳輸?shù)組DS和OSD上對象存儲系統(tǒng)組成Page?162.3對象存儲技術(shù)傳統(tǒng)塊存儲與對象存儲對象存儲結(jié)構(gòu)Page?172.3對象存儲技術(shù)對象存儲模式用于海量數(shù)據(jù)存儲的優(yōu)勢：高性能數(shù)據(jù)存儲：訪問節(jié)點有獨立的數(shù)據(jù)通路和元數(shù)據(jù)訪問通路，可以對多個OSD進(jìn)行并行訪問跨平臺數(shù)據(jù)共享：由于在對象存儲系統(tǒng)上部署基于對象的分布