資源描述：
《可擴展的分布式元數(shù)據(jù)管理系統(tǒng)設(shè)計.pdf》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、第41卷第5期計算機工程2015年5月Vo1．41No．5ComputerEngineeringMav2015·先進計算與數(shù)據(jù)處理·文章編號：1000．3428(2015)05．0026-07文獻標識碼：A中圖分類號：TP311可擴展的分布式元數(shù)據(jù)管理系統(tǒng)設(shè)計黃秋蘭，程耀東，杜然，陳剛(中國科學院高能物理研究所計算中心，北京100049)摘要：為解決高能物理海量存儲系統(tǒng)由于存儲規(guī)模不斷擴大所面臨的問題，設(shè)計一種分布式元數(shù)據(jù)管理系統(tǒng)，包括元數(shù)據(jù)管理、元數(shù)據(jù)服務、緩存服務以及監(jiān)控信息采集4個部分，在此基礎(chǔ)上提出自適應目錄子樹劃分算法，以目錄為粒度進行元數(shù)據(jù)劃分，根據(jù)
2、集群負載情況調(diào)整目錄子樹，實現(xiàn)元數(shù)據(jù)信息在元數(shù)據(jù)集群中的合理存儲和分布。實驗結(jié)果證明，該算法能提高元數(shù)據(jù)的訪問和檢索性能，提供可擴展及動態(tài)負載均衡的元數(shù)據(jù)服務，以保證該元數(shù)據(jù)管理系統(tǒng)的可用性、擴展性及I／O性能不會因存儲規(guī)模擴大而受到影響，滿足高能物理實驗日益增長的存儲需求。關(guān)鍵詞：元數(shù)據(jù)管理；動態(tài)；可擴展；元數(shù)據(jù)分布；Ceph文件系統(tǒng)；Gluster文件系統(tǒng)；Lustre文件系統(tǒng)中文引用格式：黃秋蘭，程耀東，杜然，等．可擴展的分布式元數(shù)據(jù)管理系統(tǒng)設(shè)計[J]．計算機工程，2015，41(5)：26—32．37．英文引用格式：HuangQiulan，ChengYa
3、odong，DuRan，eta1．DesignofScalableDistributedMetadataManagementSystem[J]．ComputerEngineering，2015，41(5)：26—32，37．DesignofScalableDistributedMetadataManagementSystemHUANGQiulan，CHENGYaodong，DURan，CHENGang(ComputingCenter，InstituteofHighEnergyPhysics，ChineseAcademyofSciences，Beijing1000
4、49，China)【Abstract】Tosolvetheproblemscausedbythestorageexpandinginhighenergyphysicsmassstoragesystem，ascalabledistributedmetadatamanagementsystemisdesigned，whichincludesmetadatamanagement，metadataservice，cacheserviceandmonitoringinformationcollector．Basedonit，anewAdaptiveDirectorySub
5、—treePartition(ADSP)algorithmisproposed．ADSPdividesthefilesystemnamespaceintosub—treeswithdirectorygranularityandadjustssub—treesadaptivelyaccordingtotheloadofmetadataclusterforachievingthestorageanddistributionofmetadataincluster．Experimentalresultsshowthatthealgorithmcanimprovethem
6、etadataaccessandretrievalperformance，providesascalableanddynamicloadbalancingofmetadataservicetoensuretheavailability，scalabilityandI／Operformanceofmetadatamanagementsystemisnotaffectedbythestoragescale，therebyitcanmeetthegrowingstoragerequirementsofhighenergyphysicsexperiments．【Keyw
7、ords】metadatamanagement；dynamic；scalability；metadatadistribution；Cephfilesystem；Glusterfilesystem；LustrefilesystemDOI：10．3969／j．issn．1000—3428．2015．05．005高能物理實驗規(guī)模的不斷擴大和實驗復雜性的不1概述斷增加，高能物理實驗數(shù)據(jù)將急劇增長，海量存儲在大規(guī)模數(shù)據(jù)存儲系統(tǒng)中，元數(shù)據(jù)描述了一個系統(tǒng)的元數(shù)據(jù)面臨以下3個問題：(1)元數(shù)據(jù)的可文件系統(tǒng)的邏輯結(jié)構(gòu)，如名字空間、文件和目錄的擴展性；(2)元數(shù)據(jù)的檢索和遍歷性能；
8、(3)元數(shù)據(jù)屬性及邏輯名
