文獻(xiàn)綜述鄭志亮

《文獻(xiàn)綜述鄭志亮》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。

1、吟心轉(zhuǎn)常旣畢業(yè)設(shè)計（論文）文獻(xiàn)綜述設(shè)計（論文）題目：計實現(xiàn)Hadoop環(huán)境下的遙感數(shù)據(jù)存儲模型設(shè)學(xué)院名稱：理學(xué)院專業(yè)：信息與計算科學(xué)學(xué)生姓名：鄭志亮學(xué)號：08480010227指教師：尹天鶴2011年11月29日一、前言部分隨著對地觀測技術(shù)的快速發(fā)展遙感數(shù)據(jù)的量呈幾何級數(shù)成長，這給遙感數(shù)據(jù)的存儲管理帶來了巨大的挑戰(zhàn)。然而，網(wǎng)格計算是國家級高性能計算和信息服務(wù)的戰(zhàn)略性基礎(chǔ)設(shè)施，它的目標(biāo)是將地理上分布、異構(gòu)的各種高性能計算機、數(shù)據(jù)服務(wù)器、大型檢索存儲系統(tǒng)和可視化、虛擬現(xiàn)實系統(tǒng)等，通過高速互聯(lián)網(wǎng)絡(luò)連接并集成起來，共同完成一些缺乏有效研究辦法的重大應(yīng)用研究問題。因此，我們研究在Hadoop環(huán)境卜?遙感

2、數(shù)據(jù)的存儲。Hadoop是一個分彳j式構(gòu)架基礎(chǔ)架構(gòu)，±1Apache基金會開發(fā)。充分利用集群的威力高速運算和存儲。木課題將從以下幾個方面來加以研究：（1）HDFS是GoogleFileSystem（GFS）的開源實現(xiàn)。（2）MapReduce是GoogleMapReduce的開源實現(xiàn)。（3）HBase是GoogleBigTable的開源實現(xiàn)。Hadoop的最常見用法之一是Web搜索。雖然它不是惟一的軟件框架應(yīng)用程序，但。作為一個并行數(shù)據(jù)處理引擎，它的表現(xiàn)罪常突岀二、主題部分2.1遙感數(shù)據(jù)數(shù)據(jù)特點和組織特征遙感圖像數(shù)據(jù)庫級數(shù)是數(shù)字處理技術(shù)、數(shù)據(jù)庫技術(shù)和模式識別技術(shù)發(fā)展并相結(jié)合的產(chǎn)物。它具冇如下特

3、點：數(shù)據(jù)對象龐大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜、數(shù)據(jù)類型多樣、結(jié)構(gòu)性數(shù)據(jù)與非結(jié)構(gòu)性數(shù)據(jù)并存。遙感圖像能將大批的圖像及相關(guān)信息存儲在一起并進(jìn)行有效管理。這些圖像信息的有效組織和檢索便依賴于基于內(nèi)容的圖像檢索方式CBTR,即數(shù)據(jù)給的圖像或顏色、紋理、形狀、空間關(guān)系等特征，檢索庫存圖像，找出給定圖像特征相似的圖像來。2.2Hadoop簡介Hadoop起初建立是作為Nutch項目的基礎(chǔ)（infrastructure）,Nutch是一個開源的搜索引擎，主要由爬蟲crawler和查詢searcher兩部分組成。Hadoop和Nutch都是LuceneApache項目的一部分。Hadoop（項目總稱）是原Yahoo的Dou

4、gCutting根據(jù)Google發(fā)布的學(xué)術(shù)論文研究而來。它是一個分布式計算平臺,它主要由HDFS和Map-Reduce組成，但是二者的實現(xiàn)是完全分離的，并不是沒有HDFS就不能MapReduce運算。特點：Scalable（可伸縮性）：可靠存儲處理大量數(shù)據(jù)（10的15次方字節(jié),即PB級數(shù)據(jù)）Economical（經(jīng)濟(jì)性）：數(shù)據(jù)分布和處理在集群中的可用廉價PC上，這些集群可以由數(shù)以千計的節(jié)點組成。Efficient（高效性）:以并行的方式工作，通過并行處理加快處理速度。Reliable（可靠性）：白動維護(hù)多個數(shù)據(jù)副本，門動置配失敗時的計算任務(wù)。Iladoop分布式文件系統(tǒng)是遵循Google文件系

5、統(tǒng)原理進(jìn)行開發(fā)實現(xiàn)的，受到了業(yè)界極大關(guān)注。并已被廣泛運用。它是具冇高可靠性和高可擴展性的文件系統(tǒng)，能夠提供海量的文件存儲能力。傳統(tǒng)的遙感影像數(shù)據(jù)庫一?般是把影像數(shù)據(jù)放置到大型關(guān)系數(shù)據(jù)庫屮。由于遙感影像數(shù)據(jù)量較人，因此具讀取、傳輸?shù)臅r間很長，讓操作者難以忍受，影響了系統(tǒng)的快捷易用性。2.3Hadoop環(huán)境下遙感圖像存儲管理的主要研究內(nèi)容Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件。但是Hadoop是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。Hadoop是可靠的，因為它假設(shè)計算元素和存儲會失敗，因此它維護(hù)多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。Hadoop是高效的，I大I為它

6、以并行的方式工作，通過并行處理加快處理速度。Hadoop述是可仲縮的，能夠處理PB級數(shù)據(jù)。此外，Hadoop依賴于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。因此根據(jù)遙感數(shù)據(jù)的特征及組織特點，木文做了以下兒個研究：（1）分析Hadoop環(huán)境下遙感圖像儲存的意義；（2）了解Hadoop環(huán)境下遙感圖像存儲實現(xiàn)方法；（3）深入研究Hadoop環(huán)境下存儲遙感圖像的設(shè)計機制；（4）設(shè)計并實現(xiàn)存儲遙感圖像。三.總結(jié)部分傳統(tǒng)的遙感圖像存儲方式，由于數(shù)據(jù)量較大，讀取吋間會很長，而在Hadoop環(huán)境下能冇效提高存儲的速度?；谖募c數(shù)據(jù)庫的結(jié)合，提出了一個新的數(shù)據(jù)管理方式，完備的安全措施彌補了文件系統(tǒng)的先

7、天不足。在此基礎(chǔ)上，繼續(xù)分析遙感影像數(shù)據(jù)庫的擴展應(yīng)用，增強與其它關(guān)系數(shù)據(jù)庫系統(tǒng)的結(jié)合是今后系統(tǒng)研究發(fā)展的重要目標(biāo)和方向。四、參考文獻(xiàn)[1]李飛鵬，秦前清，李德仁海量遙感影像數(shù)據(jù)庫實時壓縮系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機工程與應(yīng)用，2003,39(26)：9-1[2]史小冬，孟川，祝明發(fā)，COSMOS—種可擴展單一映象機群文件系統(tǒng)，南京人學(xué)學(xué)報(白然科學(xué))，2001.10[3]吳思寧，賀勁，熊勁，孟丹