云存儲(chǔ)系統(tǒng)需求分析

《云存儲(chǔ)系統(tǒng)需求分析》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、大數(shù)據(jù)存儲(chǔ)需求管理需求l動(dòng)態(tài)添加刪除用戶l用戶容量控制l用戶流量，網(wǎng)速控制l用戶副本靈活配置性能需求l響應(yīng)時(shí)間lIops指標(biāo)l吞吐量指標(biāo)穩(wěn)定性l24小時(shí)無(wú)故障服務(wù)l大數(shù)據(jù)量情況iops指標(biāo)無(wú)明顯變動(dòng)l大數(shù)據(jù)量下吞吐量指標(biāo)無(wú)明顯變化l系統(tǒng)負(fù)載在一定閥值下服務(wù)l監(jiān)控系統(tǒng)完善主要是對(duì)cpu，內(nèi)存，網(wǎng)絡(luò)，io容錯(cuò)高可用l在無(wú)自然災(zāi)害性的真?zhèn)€機(jī)房出現(xiàn)故障的情況下24小時(shí)服務(wù)l系統(tǒng)奔潰后可恢復(fù)服務(wù)l容災(zāi)備份可擴(kuò)展性l支持在線橫向擴(kuò)容l支持在線縱向擴(kuò)容l節(jié)點(diǎn)自動(dòng)感知數(shù)據(jù)格式支持l二進(jìn)制小文件l圖片文件l視頻文件l大文件l大文件隨機(jī)讀l大文件隨機(jī)寫（不容易實(shí)現(xiàn)）接口l大小文件支

2、持類posix的接口l支持rest接口（前期不一定實(shí)現(xiàn)）l最好能支持讀寫分離的鎖測(cè)試l寫測(cè)試l隨機(jī)寫測(cè)試l讀測(cè)試l隨機(jī)讀測(cè)試l并發(fā)讀寫測(cè)試l上量讀寫測(cè)試l測(cè)試平臺(tái)分布式測(cè)試平臺(tái)本質(zhì)是一個(gè)必行任務(wù)系統(tǒng)，可以有多種的實(shí)現(xiàn)方式，原理如下如由控制節(jié)點(diǎn)發(fā)出測(cè)試開(kāi)始的指令，測(cè)試機(jī)根據(jù)掛載的測(cè)試任務(wù)，進(jìn)行并發(fā)測(cè)試，結(jié)束后，將結(jié)果返回給任務(wù)分發(fā)機(jī)器，經(jīng)過(guò)統(tǒng)計(jì)，返回給測(cè)試任務(wù)控制機(jī)實(shí)現(xiàn)方式：l使用自動(dòng)化測(cè)試框架（未使用過(guò)）l自寫并行任務(wù)分發(fā)系統(tǒng)，進(jìn)行測(cè)試l利用hadoop等開(kāi)源軟件進(jìn)行測(cè)試，入mapreduce，可以再map中進(jìn)行測(cè)試任務(wù)，由reduce匯總測(cè)試結(jié)果，reduce

3、個(gè)數(shù)設(shè)置成1整體框架灰色表示第一版本不需要實(shí)現(xiàn)的部分，現(xiàn)在需要是先的部分部署的部分主要是在分布式存儲(chǔ)和開(kāi)放服務(wù)以及上層的接口圖片應(yīng)用需求l創(chuàng)建用戶l創(chuàng)建命名空間，即文件夾l創(chuàng)建操作員，該操作員只能操作指定的用戶空間l上傳，下載，刪除，獲取圖片屬性，清除緩存l圖片類型識(shí)別，動(dòng)態(tài)轉(zhuǎn)換l設(shè)置圖片特有格式如http請(qǐng)求http：//img.fw.com/xx.jpg,可用http：//img.fw.com/xx.jpg！small訪問(wèn)small格式的圖片，small格式定義為：10*5的圖片，或是其他類型，如等高，等寬等l每一個(gè)命名空間可以有不同的格式限定l實(shí)時(shí)性保證為

4、支持如相冊(cè)實(shí)現(xiàn)方法根據(jù)圖片的特性和和應(yīng)用，圖片存儲(chǔ)主要是得結(jié)構(gòu)是如下其中黑色線條表示在實(shí)現(xiàn)中可不必實(shí)現(xiàn)。例如，某張圖片原圖格式是jpeg，1024*768大小，在請(qǐng)求是的時(shí)候請(qǐng)求的是200*100的大小，請(qǐng)求圖片存儲(chǔ)時(shí)并沒(méi)有需要的的大小，需要經(jīng)過(guò)轉(zhuǎn)換，緩存服務(wù)拿到原圖，在圖片處理服務(wù)處理后，將處理后的圖片緩存在本地的緩存中，因?yàn)檫@類的請(qǐng)求，并不是持久性的請(qǐng)求，比如客戶頁(yè)面在更改，第一版按照200寬的等寬顯示，兩天后，客戶頁(yè)面修改，將縮略圖改為300等寬，這樣，如果存儲(chǔ)到圖片存儲(chǔ)中，因?yàn)榍岸说男薷?，圖片請(qǐng)求的格式在不斷的變化，如果存儲(chǔ)起來(lái)，會(huì)浪費(fèi)很多存儲(chǔ)空間，這種

5、變化的可能會(huì)導(dǎo)致存儲(chǔ)的數(shù)十倍的浪費(fèi)分布式系統(tǒng)分布式系統(tǒng)是需要的，主要是兩個(gè)方面，第一是自動(dòng)進(jìn)行冗余備份，其次是提供動(dòng)態(tài)擴(kuò)容的方便，選擇合適的分布式系統(tǒng)是比較好重要的前置機(jī)在圖片存儲(chǔ)服務(wù)，甚至大部分的文件存儲(chǔ)服務(wù)中，讀寫的差異很大，讀寫請(qǐng)求的數(shù)量差異也很大，一張圖片，寫次數(shù)屈指可數(shù)，讀的次數(shù)多大千萬(wàn)次，讀服務(wù)請(qǐng)求的數(shù)量也很多，讀寫請(qǐng)求的完成質(zhì)量也有差異，寫請(qǐng)求失敗，數(shù)據(jù)很有可能丟失，或者造成一段時(shí)間內(nèi)整體讀服務(wù)不能完成。而讀請(qǐng)求失敗一次，影響卻很小，可以通過(guò)其他節(jié)點(diǎn)，或者備份節(jié)點(diǎn)彌補(bǔ)，所以在上面的架構(gòu)體系統(tǒng)，將讀寫請(qǐng)求分開(kāi)以前置機(jī)來(lái)出來(lái)。方案Tfs或者fastdf

6、s這個(gè)用作用圖片存儲(chǔ)的優(yōu)點(diǎn)是這兩個(gè)系統(tǒng)開(kāi)發(fā)意圖就是為了圖片存儲(chǔ)，也為圖片存儲(chǔ)做了大量的優(yōu)化，對(duì)大量小圖片的支持很好，訪問(wèn)速度，穩(wěn)定性，數(shù)據(jù)一致性保證都很好。都不需要二次開(kāi)發(fā)，直接可以使用，并且提供了nginx的模塊，可以很容易配置http訪問(wèn)方式。缺點(diǎn)是都不支持posix類接口，實(shí)質(zhì)是屬于key-value類型接口在作為云端存儲(chǔ)的時(shí)，需要在外圍做大量的開(kāi)發(fā)工作，維護(hù)user-namespace-pic的關(guān)系使用如kv方式存儲(chǔ)底層是用大型的分布式文件系統(tǒng)，上層是用key-value存儲(chǔ)存儲(chǔ)文件的方式也可以對(duì)百億級(jí)別的圖片文件進(jìn)行存儲(chǔ)，但是文件需要經(jīng)過(guò)切片進(jìn)行存儲(chǔ)，

7、如果切片大小4k，常規(guī)圖片的大小是20k左右，比如圖片是21k，可以通過(guò)將圖片文件切成4k固定的大小，分prefix+0-6的方式存入key-value存儲(chǔ)中，并且將相應(yīng)的圖片數(shù)據(jù)存入對(duì)應(yīng)的順序的key中，在讀取圖片的時(shí)候，將6個(gè)key取出，按照順序組個(gè)數(shù)據(jù)，即可還原圖片。Kv方式也可以是用bitcast方式存儲(chǔ)文件，即圖片存在文件里，kv只存儲(chǔ)文件名到元數(shù)據(jù)的以及數(shù)據(jù)位置的索引，但是在合并時(shí)需要做額外很多的處理，比如圖片的刪除，需要從kv中刪除，并且從數(shù)據(jù)文件中刪除圖片的那段數(shù)據(jù)，合并需要額外的調(diào)度，kv系統(tǒng)的自動(dòng)合并并不能滿足需求大文件存儲(chǔ)需求l副本數(shù)個(gè)性設(shè)

8、置l多用戶請(qǐng)求支持l隨即