資源描述：
《風(fēng)電場數(shù)據(jù)中心hadoop云平臺作業(yè)調(diào)度算法研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。
1、1308-0042修改風(fēng)電場數(shù)據(jù)中心Hadoop云平臺作業(yè)調(diào)度算法研究LUOXianjin*,YUELiming1,ZHENChcnggang11.華北電力人學(xué)控制與計算機(jī)工程學(xué)院，河北保定0710001.SchoolofControlandComputerEngineering，NorthChinaElectricPowerUniversity，Baoding071000,ChinaLUOXianjin,YUELiming,ZHENChenggang.Researchonthejobschedulingalgorithmonthewindfarm
2、sdatacentercloudplatformbasedonhadoop.ComputerEngineeringandApplicationsAbstract:Winddatacentercontainsstatusmonitoring,dataacquisitionreal-timejobsandothernon-real-timejobs.ThestructureofC/Swhichhasbeenwildlyused,butithasmanydisadvantages,suchastheimbalanceofresourceutilizati
3、on,thehighcostofmanagementandmaintenance,etc.Thispaperpresentsadatacenterarchitecturebasedoncloudcomputingplatform;InordertosolvetheFIFOSchedulerintheopensourceHadoopplatformcannotsatisfythereal-timemonitoringjobs’requirements,theauthordesignadualqueuejobschedulerbasedontheexi
4、stingFIFOScheduler,whichconsiderthedeadlinetimeandpriorityofthejobtomakeschedulejobdecisions.ComparedwiththeFIFOScheduler,theexperimentalresultsshowthatthedualqueuejobschedulercanmakeagoodperformancewhentheclusterloadislargetomakethereal-timejobscanbeexecutedfirst,andprovidesa
5、guaranteeforthesafeoperationofthewindturbines.KeyWords:hadoop;cloudplatform;schedulingalgorithm;clusterload摘要：風(fēng)屯場數(shù)據(jù)屮心包含狀態(tài)監(jiān)測、數(shù)據(jù)采集等實時類作業(yè)和非實時類作業(yè)，采用C/S結(jié)構(gòu)存在資源利用率不平衡、管理與維護(hù)成本高等缺點。本文設(shè)計了一種蕋于Hadoop云平臺的數(shù)據(jù)中心架構(gòu)；針對開源Hadoop平臺現(xiàn)有FIFO調(diào)度器不能滿足實時監(jiān)測系統(tǒng)要求，在原有FIFO調(diào)度器的基礎(chǔ)上，作者設(shè)計了一種雙隊列的作業(yè)調(diào)度器，綜合考慮作業(yè)的截止吋間和優(yōu)
6、先級來進(jìn)行作業(yè)凋度決策，實驗結(jié)果表明，與FIFO調(diào)度器相比，雙隊列的作業(yè)凋度器在集群負(fù)載較人吋能夠表現(xiàn)出較好的性能，保證實吋類作業(yè)能夠優(yōu)先執(zhí)行，為風(fēng)電機(jī)組的安全運(yùn)行提供保障。關(guān)鍵詞：hadoop；云平臺；調(diào)度算法；集群負(fù)載文獻(xiàn)標(biāo)志碼:A中圖分類號:TP301.61引言風(fēng)能作為一種清沾的可再生能源，H益引起世界各國的關(guān)注，風(fēng)力發(fā)電技術(shù)基木已趨于成熟。在大型的風(fēng)電場中有幾十臺甚至上百臺風(fēng)力發(fā)電機(jī)，同時一個風(fēng)力發(fā)電集團(tuán)擁有多個風(fēng)電場，它們分散于各地，并且多處于偏僻地區(qū)，不但給風(fēng)電公司的生產(chǎn)運(yùn)營管理帶來很人網(wǎng)難，也給電網(wǎng)的調(diào)度和電網(wǎng)的安全運(yùn)行帶來很多的問題
7、［1］。目前，Google、Yahoo、Amazon、Facebook、百度以及阿里巴巴等都在應(yīng)用云計算技術(shù)來解決它們所面臨的處理海量數(shù)據(jù)的問題［2］。Hadoop（對海景數(shù)據(jù)進(jìn)行分布式處理的軟件框架）開源丼行計算框架構(gòu)建在廉價的計算機(jī)集群之上，通過各個計算機(jī)節(jié)點的協(xié)M丄作來獲得強(qiáng)大的數(shù)據(jù)存儲能力和計算能力。Hadoop主要包括兩個組件：MapReduce（一種編程運(yùn)型，用于并行處理大規(guī)模數(shù)遍）并行計算框架、分布式文件系統(tǒng)13】（DistributedFileSystem）。利川MapReduce框架編寫的程序采川分而治之的思想，使得一個人的任務(wù)能
8、夠被分成若T?個小任務(wù)，以并行的方式運(yùn)行，從而加快數(shù)據(jù)處理的速度14］。在風(fēng)電場數(shù)據(jù)中心集群屮，川戶提交的作業(yè)被初始化成苦
