資源描述：
《基于HDFS的小文件存儲(chǔ)與讀取優(yōu)化策略.pdf》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫(kù)。
1、2014年第23卷第5期http：／／www．C—S—a．org．cn計(jì)算機(jī)系統(tǒng)應(yīng)用基于HDFS的小文件存儲(chǔ)與讀取優(yōu)化策略①?gòu)埡?，馬建紅(~．X4LI業(yè)大學(xué)計(jì)算機(jī)科學(xué)與軟件學(xué)院，天津300401)摘要：本文對(duì)HDFS分布式文件系統(tǒng)進(jìn)行了深入的研究，在HDFS中以流式的方式訪問(wèn)大文件時(shí)效率很高但是對(duì)海量小文件的存取效率比較低．本文針對(duì)這個(gè)問(wèn)題提出了一個(gè)基于關(guān)系數(shù)據(jù)庫(kù)的小文件合并策略，首先為每個(gè)用戶建立一個(gè)用戶文件，其次當(dāng)用戶上傳小文件時(shí)把文件的元數(shù)據(jù)信息存入到關(guān)系數(shù)據(jù)庫(kù)中并將文件追加寫入到用戶文件中，最后用戶讀取
2、小文件時(shí)通過(guò)元數(shù)據(jù)信息直接以流式方式進(jìn)行讀?。送猱?dāng)用戶讀取小于一個(gè)文件塊大小的文件時(shí)還采取了數(shù)據(jù)節(jié)點(diǎn)負(fù)載均衡策略，直接由存儲(chǔ)數(shù)據(jù)的DataNode傳送給客戶端從而減輕主服務(wù)器壓力提高文件傳送效率．實(shí)驗(yàn)結(jié)果表明通過(guò)此方案很好地解決了HDFS對(duì)大量小文件存取支持不足的缺點(diǎn)，提高了HDFS文件系統(tǒng)對(duì)海量小文件的讀寫性能，此方案適用于具有海量小文件的云存儲(chǔ)系統(tǒng)，可以降低NameNode內(nèi)存消耗提高文件讀寫效率．關(guān)鍵詞：HDFS；小文件優(yōu)化；文件合并；負(fù)載均衡；云存儲(chǔ)OptimizationalStrategyofSm
3、allFilesStoredandReadedonHDFSZHANGHai，MAJian—Hong(ComputerScienceandSoftwareEngineering，HebeiUniversityofTechnology,Tianjin300401，China)Abstract：Inthispaper,theHDFSdistributedfilesystemisconductedin—depthresearch．InHDFSthewayofstreamingtoreadandwritelargefil
4、esisveryeficient，buttheeficiencyonreadingandwritingofthemassofsmallfilesisrelativelylow．Accordingtothisproblemthispaperpresentsasmallfilesbasedonrelationaldatabaseconsolidationstrategy．Firstlycreatingauser’SfileforeachuseLthenuploadingfile’Smetadatainformati
5、ontorelationaldatabaseandthefileiswrittentotheuser’Sfilewhenuseruploadssmallfiles．Finallyuserviastreamingmodetoreadsmallfilesaccordingtothemetadatainformation．Whenuserreadsfilewhichsizeissmallerthanthefileblock，datanodetakesloadbalancingstrategy,thedatanodeo
6、fstoringdatatransfersdatadirectlySOastoreducethepressureofthemainserverandimprovetheeficiencyoffile’Stransfer．TheexperimentalresultsshowthatthisschemesolvestheshortcomingofHDFSreadingandwritingsmallfiles，improvestheHDFSfilesystemofreadingandwritingperformanc
7、eonmassivesmallfiles．Thisschemecanapplytomassivesmallfilesoncloudstoragesystem，andreducememoryconsumptionofNameNodetoimprovetheeficiencyoffile’Sreadingandwriting．Keywords：HDFS；optimizationofsmallfiles；mergefiles；loadbalance；cloudstorage隨著互聯(lián)網(wǎng)的高速發(fā)展，互聯(lián)網(wǎng)中的數(shù)據(jù)也急劇衍
8、生也成為了國(guó)內(nèi)外研究的熱點(diǎn)，在眾多云存儲(chǔ)的研的膨脹，為了給用戶提供更好的服務(wù)互聯(lián)網(wǎng)企業(yè)就要究中，Hadoop的分布式文件系統(tǒng)HDFS[3]作為Google保存和挖掘這些數(shù)據(jù)．由此產(chǎn)生了云計(jì)算的概念，F(xiàn)ileSystem的開(kāi)源實(shí)現(xiàn)已成為業(yè)界研究云計(jì)算與云存云計(jì)算是當(dāng)今研究的熱門課題，它很好的解決了大數(shù)儲(chǔ)，實(shí)現(xiàn)云應(yīng)用提供云服務(wù)參考的標(biāo)準(zhǔn)模型．HDFS可據(jù)的運(yùn)算與存儲(chǔ)的難題，其中云存儲(chǔ)作為云
