海量影像云管理的探索與研究

《海量影像云管理的探索與研究》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在學術論文-天天文庫。

1、第27卷第1期安徽地質(zhì)、，o1．27No．12017年3月GeologyofAnhuiMarch20l7文章編號：1005-6157(2017)01-053-4海量影像云管理的探索與研究陳韜，侯恩兵1．z，馬偉英(1安徽省基礎測繪信息中心，安徽合肥230031；2安徽省智慧城市與地理國情監(jiān)測重點實驗室，安徽合肥230031)摘要：目前影像存儲與管理方式存在著諸多的不足，傳統(tǒng)的文件系統(tǒng)時影像進行存儲和管理的效率較低，難以適應海量影像數(shù)據(jù)存儲管理的需求。同時傳統(tǒng)方式的數(shù)據(jù)共享效率低，基本靠存儲介質(zhì)共享傳遞數(shù)據(jù)，共享過程中

2、會帶來額外的存儲開銷。而云計算技術的出現(xiàn)和發(fā)展克服了傳統(tǒng)文件系統(tǒng)的不足，所以本文研究搭建基于開源云計算平臺Hadoop的分布式集群，研究海量的遙感影像數(shù)據(jù)的存儲和管理方式；并在此基礎上開發(fā)了一套海量影像云管理系統(tǒng)，進一步提高海量影像數(shù)據(jù)存儲性能與管理效率，推動影像數(shù)據(jù)在各行業(yè)的分發(fā)應用。關鍵詞：Hadoop；海量影像；云計算中圖分類號：P208文獻標志碼：A0引言儲、大規(guī)模計算、深度數(shù)據(jù)挖掘等的支持也不夠完善[7]。因此文章重影像數(shù)據(jù)是GIS的重要數(shù)據(jù)來方面獲得了更加強大的優(yōu)勢，所以點考察了各類開源云平臺，結合實源，

3、它含有豐富的資源與環(huán)境信將云計算技術和GIS技術相結合，施時間同時確保實現(xiàn)最終的研究成卜。隨著衛(wèi)星遙感和航空遙感研究并實現(xiàn)云計算環(huán)境下GIS應用果，擬采用應用最為廣泛的開源云技術的發(fā)展，特別是小衛(wèi)星高分辨模式、服務體系、存儲遷移等技平臺Hadoop。率遙感圖像的商業(yè)化，通過遙感技術、模式或方法具有非常迫切的現(xiàn)Hadoop是一個分布式系統(tǒng)基礎術獲得的高分辨率的衛(wèi)星遙感地理實必要性。因此本文在現(xiàn)有云GIS架構，用戶可以在不了解分布式底層信息越來越多[3】。這些高分辨率的基礎上，結合開源云平臺Hadoop的細節(jié)的情況下，開

4、發(fā)分布式程序，衛(wèi)星遙感數(shù)據(jù)不僅包含著海量的信特點[5】，研究并實現(xiàn)海量(TB級甚充分利用集群的威力高速運算和存息，而且時效性強，獲取影像周期至PB級)影像數(shù)據(jù)的分布式存儲和儲。同時Hadoop主要有以下優(yōu)短，數(shù)據(jù)量大?？梢钥吹饺蜻b感高效的查詢管理技術；并充分融入點：影像數(shù)據(jù)集的規(guī)模正在迅速膨脹，云計算、大數(shù)據(jù)等前沿技術，采用維護了多個工作數(shù)據(jù)副本，確對GIS提出了更高的要求，現(xiàn)階段基于Hadoop的分布式集群、Spring保能夠針對失敗的節(jié)點重新分布處的影像數(shù)據(jù)管理系統(tǒng)至少應該管理MVC和MyBatis技術對海量的

5、影像理：PB級的影像數(shù)據(jù)。面對如此龐大數(shù)據(jù)進行存儲管理，有效解決傳統(tǒng)以并行的方式工作，通過并行和復雜的遙感影像數(shù)據(jù)集，如何對影像數(shù)據(jù)存儲管理存在的不足，提處理加快處理數(shù)據(jù)的速度；其進行高效的存儲、組織、管理與升系統(tǒng)性能和效率，提高測繪大數(shù)是可伸縮的，能夠處理PB級發(fā)布，縮短遙感影像數(shù)據(jù)從獲取、據(jù)管理的效率[6】。數(shù)據(jù)，且部署成本比較低，任何人處理到使用的時間至分鐘級甚至秒1開源云平臺Hadoop的優(yōu)勢都可以使用；級，提高處理和分發(fā)的效率，成為考慮到商業(yè)的云GIS平臺存在帶有用Java語言編寫的框架，一個迫切需要解決的

6、問題[4】。著一定缺陷，如成本高、兼容性差因此具有良好的跨平臺優(yōu)勢。傳統(tǒng)的GIS和WebGIS已經(jīng)不能等；同時GIS數(shù)據(jù)涉密的特點，此綜七所述，結合海量影像數(shù)據(jù)適應管理海量影像數(shù)據(jù)，而云計算外外商業(yè)軟件需要高昂的使用和維的特性，Hadoop完全可以滿足存的出現(xiàn)使得GIS系統(tǒng)在海量數(shù)據(jù)存護費用，在跨平臺方面商業(yè)GIS云儲、分析大規(guī)模的GIS數(shù)據(jù)的各類收稿日期：2016-09—13基金項目：安徽省國土資源科技項目“基于had0op搭建云GIs平臺的探索與研究”(2015一K一16)作者簡介：陳韜(1986一)，男，安徽巢

7、湖人，碩士，主要從事地理信息系統(tǒng)，可視化，軟件工程工作。安徽地質(zhì)2017年需求，因此本文選擇Hadoop來構建件系統(tǒng)的命名空間，維護整個文件信是通過HTML表單進行傳遞；對開源云GIS平臺框架。系統(tǒng)文件目錄樹及其索引目錄。于客戶端，系統(tǒng)提供B／S架構的客2研究內(nèi)容集群啟動時，NameNode通過戶端系統(tǒng)。2．1Hadoop集群設計心跳機制接受DataNode的塊報告來2．2．2業(yè)務層根據(jù)云GIS平臺需求和已有的組織文件信息。業(yè)務層位于整個系統(tǒng)結構的中硬件設備數(shù)目，本文的基礎工作DataNode是執(zhí)行具體任務的節(jié)間，接

8、受用戶通過應用層提供的查之一即搭建hadoop集群，圖1為本點，如存儲影像文件塊，被客戶端詢條件并通過功能模塊的處理及時文設計的hadoop集群集群的拓撲結和NameNode調(diào)用。響應用戶的查詢請求。業(yè)務層還負構；這樣的結構可以動態(tài)添加硬件Yarn負責集群中所有資源的統(tǒng)責與底層的數(shù)據(jù)存儲層進行交互，設備，橫向擴展子節(jié)點以增加整個一管理和分配，接