資源描述：
《基于hadoop的云計算基礎架構分析》由會員上傳分享，免費在線閱讀，更多相關內容在學術論文-天天文庫。
1、通信論壇計算機與網絡創(chuàng)新生活Computer＆Network65基于Hadoop的云計算基礎架構分析李響（葫蘆島第一職業(yè)中專計研中心遼寧葫蘆島125001）[摘要]Hadoop是一個可實現(xiàn)大規(guī)模分布式計算的開源軟件平臺，已經被廣泛應用在云計算領域。從Hadoop分布式文件系統(tǒng)架構的整體入手，描述了其分布式數據存儲、分布式任務分配、分布式并行計算和分布式數據庫4個方面的核心內容，并論述了HDFS的工作原理、文件操作流程及Map/Reduce工作原理和計算過程。使開發(fā)人員深入地理解Hadoop架構的工作原理與實現(xiàn)過程，為云計算背景下的應用程序開發(fā)提供重要的參考
2、。[關鍵詞]Hadoop云計算分布式文件系統(tǒng)中圖分類號：TP391文獻標識碼：A文章編號：1008-1739（2012）02-65-3AnalysisofCloudComputingInfrastructureBasedonHadoopLIXiang(ComputerResearchCenterofTheFirstVocationalSchool,HuludaoLiaoning125001,China)Abstract：Hadoopisanopen-sourcesoftwarewhichcanachievelarge-scaledistributedcom
3、puting,soitiswidelyusedincloudcomputing.Startingwithdistributedfilesystemarchitectureofhadoop,thispaperdescribesdistributeddatastorage,distributedtaskassignment,distributedparallelcomputinganddistributeddatabase.ItdiscussesHDFSworkingprinciple,fileoperationprogressandMap/Reducewor
4、kingprincipleandcomputationprocedure.Thusitmakesdevelopersin-depthunderstandworkingprincipleandimplementprocedureofhadooparchitecture.Itprovidesimportantreferencefor?applicationdevelopmentofcloudcomputingbackground.Keywords：Hadoop;cloudcomputing;distributedfilesystem1引言2Hadoop平臺介紹
5、隨著時代的發(fā)展，人們對數據的海量存儲和超級計算能Hadoop是Apache開源組織的一個分布式計算開源框力提出了更高的要求，這在過去幾十年里促進了硬件的發(fā)展，架，它可以運行在大型集群的廉價硬件設備上，實現(xiàn)對集群的使芯片集成度符合摩爾定律呈指數增長，但是硬件畢竟受物控制和管理。而且Hapoop為應用程序透明的提供了一組穩(wěn)定理極限的約束。另外，由于傳統(tǒng)并行編程模型應用的局限性，可靠的接口，屏蔽了并行應用開發(fā)的細節(jié)，實現(xiàn)更加便捷的構客觀上要求一種容易學習、使用、部署的新的并行編程框架。建企業(yè)級的應用，并且能夠實現(xiàn)海量數據的管理和分布式數因此，產生了云計算。云計算
6、概念由Google提出，是對分布式據處理。處理、并行處理和網格計算及分布式數據庫的改進處理，Hadoop最核心的設計就是分布式文件系統(tǒng)HDFS和Google在2006年推出Google的企業(yè)服務即為云計算服務的Map/Reduce算法模型。分布式文件系統(tǒng)HDFS是專門為雛形[1]。用戶只需要通過瀏覽器連接到Google，就可以進行相Map/Reduce作業(yè)所設計的文件系統(tǒng)。但HDFS并不是用來處應的存儲和計算處理。Google還提供了GoogleDocs、Google理隨機存取數據的，HDFS的設計中更多的考慮到了數據批處Desktop等作為個人網絡用戶的
7、在線軟件應用及云計算模式理，而不是用戶交互處理，比之數據訪問的低延遲問題，更關的初步體驗。隨著云計算理念和應用的推廣，IBM、微軟、A-鍵的在于數據訪問的高吞吐量。因此，HDFS是一個給應用提mazon等信息業(yè)巨頭都已經參與到云計算研究和開發(fā)中，并供高吞吐量的分布式文件系統(tǒng)[2]，可能由成百上千的機器所且出現(xiàn)了Hadoop架構，對用戶開源并迅速發(fā)展起來。構成，每個機器上存儲著文件系統(tǒng)的部分數據。計算模型定稿日期：2011-12-262012年第02期《計算機與網絡》通信論壇66Computer＆Network計算機與網絡創(chuàng)新生活Map/Reduce是Had
8、oop的核心計算模型[3]，是用于在集群上HDFS的“一次寫入多次
