大數(shù)據(jù)處理：技術與流程

《大數(shù)據(jù)處理：技術與流程》由會員上傳分享，免費在線閱讀，更多相關內容在應用文檔-天天文庫。

1、大數(shù)據(jù)處理：技術與流程文章來源：ECP大數(shù)據(jù)時間：2013/5/2211:28:34發(fā)布者：ECP大數(shù)據(jù)（關注：848）標簽：“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。特點是：數(shù)據(jù)量大(Volume)、數(shù)據(jù)種類多樣(Variety)、要求實時性強(Velocity)。對它關注也是因為它蘊藏的商業(yè)價值大(Value)。也是大數(shù)據(jù)的4V特性。符合這些特性的，叫大數(shù)據(jù)。大數(shù)據(jù)會更多的體現(xiàn)數(shù)據(jù)的價值。各行業(yè)的數(shù)據(jù)都越來越多，在大數(shù)據(jù)情況下，如何保障業(yè)務的順暢，有效的管理分析數(shù)據(jù)，能讓領導層做出最有利的決策。這是

2、關注大數(shù)據(jù)的原因。也是大數(shù)據(jù)處理技術要解決的問題。大數(shù)據(jù)處理技術大數(shù)據(jù)時代的超大數(shù)據(jù)體量和占相當比例的半結構化和非結構化數(shù)據(jù)的存在，已經超越了傳統(tǒng)數(shù)據(jù)庫的管理能力，大數(shù)據(jù)技術將是IT領域新一代的技術與架構，它將幫助人們存儲管理好大數(shù)據(jù)并從大體量、高復雜的數(shù)據(jù)中提取價值，相關的技術、產品將不斷涌現(xiàn)，將有可能給IT行業(yè)開拓一個新的黃金時代。大數(shù)據(jù)本質也是數(shù)據(jù)，其關鍵的技術依然逃不脫：1）大數(shù)據(jù)存儲和管理；2）大數(shù)據(jù)檢索使用（包括數(shù)據(jù)挖掘和智能分析）。圍繞大數(shù)據(jù)，一批新興的數(shù)據(jù)挖掘、數(shù)據(jù)存儲、數(shù)據(jù)處理與分析技術將不斷涌現(xiàn)，讓我們處理海量數(shù)據(jù)更加容易、更加便宜和迅速，成為企業(yè)

3、業(yè)務經營的好助手，甚至可以改變許多行業(yè)的經營方式。大數(shù)據(jù)的商業(yè)模式與架構----云計算及其分布式結構是重要途徑1）大數(shù)據(jù)處理技術正在改變目前計算機的運行模式，正在改變著這個世界：它能處理幾乎各種類型的海量數(shù)據(jù)，無論是微博、文章、電子郵件、文檔、音頻、視頻，還是其它形態(tài)的數(shù)據(jù)；它工作的速度非常快速：實際上幾乎實時；它具有普及性：因為它所用的都是最普通低成本的硬件，而云計算它將計算任務分布在大量計算機構成的資源池上，使用戶能夠按需獲取計算力、存儲空間和信息服務。云計算及其技術給了人們廉價獲取巨量計算和存儲的能力，云計算分布式架構能夠很好地支持大數(shù)據(jù)存儲和處理需求。這樣的低

4、成本硬件+低成本軟件+低成本運維，更加經濟和實用，使得大數(shù)據(jù)處理和利用成為可能。2）大數(shù)據(jù)的存儲和管理----云數(shù)據(jù)庫的必然很多人把NoSQL叫做云數(shù)據(jù)庫，因為其處理數(shù)據(jù)的模式完全是分布于各種低成本服務器和存儲磁盤，因此它可以幫助網(wǎng)頁和各種交互性應用快速處理過程中的海量數(shù)據(jù)。它采用分布式技術結合了一系列技術，可以對海量數(shù)據(jù)進行實時分析，滿足了大數(shù)據(jù)環(huán)境下一部分業(yè)務需求。但我說這是錯誤的，至少是片面的，是無法徹底解決大數(shù)據(jù)存儲管理需求的。云計算對關系型數(shù)據(jù)庫的發(fā)展將產生巨大的影響，而絕大多數(shù)大型業(yè)務系統(tǒng)（如銀行、證券交易等）、電子商務系統(tǒng)所使用的數(shù)據(jù)庫還是基于關系型的數(shù)

5、據(jù)庫，隨著云計算的大量應用，勢必對這些系統(tǒng)的構建產生影響，進而影響整個業(yè)務系統(tǒng)及電子商務技術的發(fā)展和系統(tǒng)的運行模式?；陉P系型數(shù)據(jù)庫服務的云數(shù)據(jù)庫產品將是云數(shù)據(jù)庫的主要發(fā)展方向，云數(shù)據(jù)庫（CloudDB），提供了海量數(shù)據(jù)的并行處理能力和良好的可伸縮性等特性，提供同時支持在在線分析處理（OLAP）和在線事務處理(OLTP)能力，提供了超強性能的數(shù)據(jù)庫云服務，并成為集群環(huán)境和云計算環(huán)境的理想平臺。它是一個高度可擴展、安全和可容錯的軟件，客戶能通過整合降低IT成本，管理位于多個數(shù)據(jù)，提高所有應用程序的性能和實時性做出更好的業(yè)務決策服務。這樣的云數(shù)據(jù)庫要能夠滿足：A．海量數(shù)據(jù)

6、處理：對類似搜索引擎和電信運營商級的經營分析系統(tǒng)這樣大型的應用而言，需要能夠處理PB級的數(shù)據(jù)，同時應對百萬級的流量。B．大規(guī)模集群管理：分布式應用可以更加簡單地部署、應用和管理。C．低延遲讀寫速度：快速的響應速度能夠極大地提高用戶的滿意度。D．建設及運營成本：云計算應用的基本要求是希望在硬件成本、軟件成本以及人力成本方面都有大幅度的降低。所以云數(shù)據(jù)庫必須采用一些支撐云環(huán)境的相關技術，比如數(shù)據(jù)節(jié)點動態(tài)伸縮與熱插拔、對所有數(shù)據(jù)提供多個副本的故障檢測與轉移機制和容錯機制、SN（ShareNothing）體系結構、中心管理、節(jié)點對等處理實現(xiàn)連通任一工作節(jié)點就是連入了整個云系統(tǒng)

7、、與任務追蹤、數(shù)據(jù)壓縮技術以節(jié)省磁盤空間同時減少磁盤IO時間等。云數(shù)據(jù)庫路線是基于傳統(tǒng)數(shù)據(jù)庫不斷升級并向云數(shù)據(jù)庫應用靠攏，更好的適應云計算模式，如自動化資源配置管理、虛擬化支持以及高可擴展性等，才能在未來將會發(fā)揮不可估量的作用。3）大數(shù)據(jù)的處理和使用----新型商業(yè)智能的產生傳統(tǒng)針對海量數(shù)據(jù)的存儲處理，通過建立數(shù)據(jù)中心，建設包括大型數(shù)據(jù)倉庫及其支撐運行的軟硬件系統(tǒng)，設備（包括服務器、存儲、網(wǎng)絡設備等）越來越高檔、數(shù)據(jù)倉庫、OLAP及ETL、BI等平臺越來越龐大，但這些需要的投資越來越大，而面對數(shù)據(jù)的增長速度，越來越力不從心，所以基于傳統(tǒng)技術的數(shù)據(jù)中心