greenplum使用介紹

《greenplum使用介紹》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、Greenplum使用介紹雷強(qiáng)2012年7月編寫特別鳴謝：周海濤，張鴻飛，黃春寶122EMCGreenplum數(shù)據(jù)庫(kù)簡(jiǎn)介Greenplum是2003年成立的，核心技術(shù)團(tuán)隊(duì)成員來(lái)自各個(gè)頂級(jí)數(shù)據(jù)庫(kù)公司和大規(guī)模并行計(jì)算公司的資深軟件架構(gòu)師，例如：Oracle,Teradata,Tandem,MicrosoftSQLServer,Informix。Greenplum數(shù)據(jù)庫(kù)軟件是業(yè)內(nèi)首創(chuàng)的無(wú)共享、大規(guī)模并行處理（massivelyparallelprocessing(MPP)）的數(shù)據(jù)庫(kù)軟件產(chǎn)品，它包含大規(guī)模并行計(jì)算技術(shù)和數(shù)據(jù)庫(kù)技術(shù)最新的研發(fā)成果：包括無(wú)共享/MPP

2、，按列存儲(chǔ)數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)內(nèi)壓縮，MapReduce，永不停機(jī)擴(kuò)容，多級(jí)容錯(cuò)等等。該數(shù)據(jù)庫(kù)軟件被業(yè)界認(rèn)可為擴(kuò)展能力最大的分析型（OLAP）數(shù)據(jù)庫(kù)軟件。已有100多家世界級(jí)重大客戶采用該軟件，例如：NYSE,NASDAQ,AIG，eBay，德意志銀行，美國(guó)聯(lián)邦儲(chǔ)備委員會(huì)，支付寶，淘寶，NTT-DoCoMo,T-Mobile,Skype，WalMart，中國(guó)電信等。這些客戶中大多數(shù)Greenplum數(shù)據(jù)倉(cāng)庫(kù)所管理的數(shù)據(jù)量都超過(guò)100TB，其中，全球最大的有6500TB，中國(guó)最大的有400TB。每一天，全球有數(shù)億級(jí)的用戶在直接、間接用到Greenplum發(fā)明的數(shù)

3、據(jù)庫(kù)平臺(tái)。Greenplum分布式數(shù)據(jù)倉(cāng)庫(kù)軟件特性介紹Greenplum數(shù)據(jù)倉(cāng)庫(kù)軟件是業(yè)界首創(chuàng)將大規(guī)模并行計(jì)算技術(shù)，應(yīng)用到了數(shù)據(jù)庫(kù)軟件領(lǐng)域。該類技術(shù)同樣應(yīng)用在Google搜索引擎的中。Greenplum數(shù)據(jù)倉(cāng)庫(kù)軟件功能：無(wú)共享/MPP核心架構(gòu)Greenplum數(shù)據(jù)庫(kù)軟件將數(shù)據(jù)平均分布到系統(tǒng)的所有節(jié)點(diǎn)服務(wù)器上，所以節(jié)點(diǎn)存儲(chǔ)每張表或表分區(qū)的部分行，所有數(shù)據(jù)加載和查詢都是自動(dòng)在各個(gè)節(jié)點(diǎn)服務(wù)器上并行運(yùn)行，并且該架構(gòu)支持?jǐn)U展到上萬(wàn)個(gè)節(jié)點(diǎn)。122混合的存儲(chǔ)和執(zhí)行（按列或按行）Greenplum發(fā)明支持混合按列或按行存儲(chǔ)數(shù)據(jù)，每張表或表分區(qū)可以由管理員根據(jù)應(yīng)用需要，分

4、別指定存儲(chǔ)和壓縮方式。基于這個(gè)功能，用戶可以對(duì)任何表或表分區(qū)選擇按行或按列存儲(chǔ)數(shù)據(jù)和處理方式。這些是在建表或表分區(qū)的DDL語(yǔ)句中配置的，只需在建表或表分區(qū)時(shí)指定：這個(gè)功能基于Greenplum的多態(tài)維數(shù)據(jù)存儲(chǔ)技術(shù)。多層次的容錯(cuò)能力Greenplum數(shù)據(jù)倉(cāng)庫(kù)軟件自己包含多層次容錯(cuò)和冗余能力，這是云計(jì)算架構(gòu)軟件的一個(gè)重要特征。該功能保證整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)在遇到硬件、軟件的故障的情況下，任然自動(dòng)繼續(xù)運(yùn)行。在線系統(tǒng)擴(kuò)容（永不停機(jī)）122在系統(tǒng)中增加節(jié)點(diǎn)服務(wù)器即可增加存儲(chǔ)容量，處理性能和加載性能。當(dāng)系統(tǒng)擴(kuò)展時(shí)，數(shù)據(jù)倉(cāng)庫(kù)保持在線，并且完全可用，擴(kuò)展進(jìn)程在后臺(tái)運(yùn)行。增加

5、節(jié)點(diǎn)服務(wù)器，性能和容量線性增加。負(fù)載管理（WorkloadManagement）具有系統(tǒng)資源管控能力，并且可控制給各個(gè)查詢分配各自系統(tǒng)資源。允許管理員指派資源隊(duì)列，從而管理數(shù)據(jù)倉(cāng)庫(kù)的隊(duì)列進(jìn)入執(zhí)行情況。在運(yùn)行的查詢的優(yōu)先級(jí)可以隨時(shí)調(diào)整。PB級(jí)的裝載能力基于MPPScatter/Gather流技術(shù)的高性能并行加載功能。加載速度隨著節(jié)點(diǎn)線性增加，實(shí)際超過(guò)4TB/小時(shí)。靈活的外部數(shù)據(jù)訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)軟件可在任意外部數(shù)據(jù)源上并行運(yùn)行常規(guī)SQL，不論外部數(shù)據(jù)源的位置，格式或存儲(chǔ)介質(zhì)。數(shù)據(jù)庫(kù)內(nèi)壓縮利用業(yè)界領(lǐng)先的壓縮技術(shù)，進(jìn)一步提高性能，并極大地節(jié)省了數(shù)據(jù)存儲(chǔ)空間。用戶可獲

6、得3-10倍的空間節(jié)省，并且同時(shí)獲得相應(yīng)有效I/O性能提升。122多層次表分區(qū)能力允許靈活地按照時(shí)間、范圍、值域劃分表分區(qū)。表分區(qū)由DDL設(shè)定，分區(qū)層級(jí)不限。數(shù)據(jù)倉(cāng)庫(kù)軟件的查詢優(yōu)化器自動(dòng)從查詢執(zhí)行計(jì)劃中略去不涉及的表分區(qū)。索引功能Greenplum支持各種數(shù)據(jù)庫(kù)索引技術(shù)，包括B-Tree，Bitmap等等。按列存儲(chǔ)、按行存儲(chǔ)數(shù)據(jù)庫(kù)表都支持索引。完全遵從SQL最新標(biāo)準(zhǔn)遵從SQL-92，SQL-99，至SQL2003標(biāo)準(zhǔn)，并包括SQL2003OLAP擴(kuò)展項(xiàng)。所有SQL查詢都是在系統(tǒng)上并行執(zhí)行。原生MapReduce功能MapReduce由Google發(fā)明，已

7、被證實(shí)為一個(gè)高擴(kuò)展性的文本非結(jié)構(gòu)化數(shù)據(jù)分析的技術(shù)。Greenplum的并行數(shù)據(jù)庫(kù)軟件核心可原生運(yùn)行MapReduce程序。支持SQL2003OLAP擴(kuò)展標(biāo)準(zhǔn)對(duì)SQL語(yǔ)言包括其OLAP擴(kuò)展標(biāo)準(zhǔn)，都是在Greenplum數(shù)據(jù)倉(cāng)庫(kù)軟件實(shí)現(xiàn)并行執(zhí)行。全面支持SQL2003OLAP標(biāo)準(zhǔn)，包括Window函數(shù)，Rollup，Cube等等。客戶端訪問(wèn)及第三方工具支持122完全支持?jǐn)?shù)據(jù)庫(kù)技術(shù)接口標(biāo)準(zhǔn)，例如:SQL,ODBC,JDBC,OLEDB，SAS,R語(yǔ)言等。同時(shí)，廣泛地支持各個(gè)BI和ETL軟件工具。綜上所述，Greenplum數(shù)據(jù)倉(cāng)庫(kù)軟件技術(shù)構(gòu)成如下圖：主流數(shù)據(jù)庫(kù)

8、技術(shù)對(duì)比表：GreenplumTeradataNetezzaOracleExad