基于模糊聚類的云任務(wù)調(diào)度優(yōu)化策略研究

《基于模糊聚類的云任務(wù)調(diào)度優(yōu)化策略研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、碩士碩士學(xué)位論文董世龍基于模糊聚類的云任務(wù)調(diào)度基于模糊聚類的云任務(wù)調(diào)度優(yōu)化策略研究?jī)?yōu)化策略研究董世龍二○一四年六月2014分類號(hào)密級(jí)UDC碩士學(xué)位論文基于模糊聚類的云任務(wù)調(diào)度優(yōu)化策略研究董世龍學(xué)科專業(yè)計(jì)算機(jī)軟件與理論指導(dǎo)教師陳寧江教授論文答辯日期2014年5月24日學(xué)位授予日期答辯委員會(huì)主席王汝涼教授廣西大學(xué)學(xué)位論文原創(chuàng)性和使用授權(quán)聲明本人聲明所呈交的論文，是本人在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行研究所取得的研究成果。除已特別加以標(biāo)注和致謝的地方外，論文不包含任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫的研究成果，也不包含本人或他人為獲得廣西大學(xué)或其它單位的學(xué)位而使用過的材料。與我一同工作的同事

2、對(duì)本論文的研究工作所做的貢獻(xiàn)均已在論文中作了明確說明。本人在導(dǎo)師指導(dǎo)下所完成的學(xué)位論文及相關(guān)的職務(wù)作品，知識(shí)產(chǎn)權(quán)歸屬廣西大學(xué)。本人授權(quán)廣西大學(xué)擁有學(xué)位論文的部分使用權(quán)，即：學(xué)校有權(quán)保存并向國家有關(guān)部門或機(jī)構(gòu)送交學(xué)位論文的復(fù)印件和電子版，允許論文被查閱和借閱，可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索和傳播，可以采用影印、縮印或其它復(fù)制手段保存、匯編學(xué)位論文。本學(xué)位論文屬于：□保密，在□不保密。年解密后適用授權(quán)。(請(qǐng)?jiān)谝陨舷鄳?yīng)方框內(nèi)打“√”)論文作者簽名：日期：指導(dǎo)教師簽名：作者聯(lián)系電話：日期電子郵箱：基于模糊聚類的云任務(wù)調(diào)度優(yōu)化策略研究摘要云計(jì)算作為解決大數(shù)據(jù)和

3、分布式計(jì)算的主要技術(shù)手段，將集群資源以按需服務(wù)的方式提供給最終用戶，而如何有效合理地分配資源和調(diào)度任務(wù)，已成為影響云計(jì)算應(yīng)用效率的重點(diǎn)與難點(diǎn)，直接影響著云平臺(tái)的整體性能和用戶的使用滿意度。云環(huán)境下集群主機(jī)節(jié)點(diǎn)存在著大量的異構(gòu)性、多樣性、不確定性和模糊性，很難準(zhǔn)確地對(duì)資源和任務(wù)進(jìn)行描述，如何分配資源去完成具有不同需求的作業(yè)任務(wù)存在復(fù)雜性。而基于模糊聚類的云資源劃分和云任務(wù)調(diào)度已經(jīng)成為業(yè)界的研究熱點(diǎn)，但是隨著集群規(guī)模不斷壯大，云環(huán)境下?lián)碛械闹鳈C(jī)數(shù)量已達(dá)到成千上萬的規(guī)模，隨之而來的問題是傳統(tǒng)串行的模糊聚類劃分算法在應(yīng)對(duì)高維、超高維矩陣運(yùn)算時(shí)存在運(yùn)算量大、運(yùn)算效率低、運(yùn)算空間不足

4、等問題，導(dǎo)致聚類耗時(shí)過長，無法滿足云計(jì)算環(huán)境中集群資源聚類的時(shí)效要求。因此，需要對(duì)傳統(tǒng)串行模糊聚類算法進(jìn)行優(yōu)化和改進(jìn)，才能更好地應(yīng)用于云計(jì)算領(lǐng)域。首先，針對(duì)應(yīng)用于云計(jì)算環(huán)境下的傳統(tǒng)串行模糊聚類劃分算法進(jìn)行研究，對(duì)比分析了三種傳統(tǒng)聚類算法（傳遞閉包法、最大樹法和編網(wǎng)法），并總結(jié)了它們的特點(diǎn)和不足，提出了基于模糊等價(jià)關(guān)系和模糊相似處理的優(yōu)化和并發(fā)策略，能夠減少聚類的運(yùn)算量，提高聚類運(yùn)算效率，大幅縮短聚類耗時(shí)。實(shí)驗(yàn)結(jié)果表明，提出的優(yōu)化和并發(fā)策略能夠有效解決現(xiàn)有工作在面對(duì)中小規(guī)模云集群資源聚類劃分過程中聚類耗時(shí)開銷過大的問題。然后，針對(duì)現(xiàn)有工作在面對(duì)大規(guī)模集群資源聚類運(yùn)算時(shí)，傳統(tǒng)

5、模糊聚類算法始終存在的運(yùn)算內(nèi)存不足、計(jì)算量超大，直接導(dǎo)致無法進(jìn)行云集群I資源聚類劃分運(yùn)算的問題，提出一種基于MapReduce框架的模糊聚類算法并行化實(shí)現(xiàn)方案，并提出通過構(gòu)造一個(gè)“同構(gòu)”小型云去調(diào)度一個(gè)“異構(gòu)”大型云的設(shè)想。實(shí)驗(yàn)結(jié)果表明，提出的并行策略具有良好的加速比和擴(kuò)展性，能夠有效解決現(xiàn)有工作在面對(duì)大規(guī)模云集群時(shí)無法進(jìn)行資源聚類劃分的問題；并通過與并發(fā)策略結(jié)合使用，可適用于各種規(guī)模的云集群資源模糊聚類劃分工作。最后，針對(duì)現(xiàn)有Hadoop調(diào)度算法在異構(gòu)性方面存在的調(diào)度效率低下的問題，將并發(fā)和并行后的模糊聚類研究成果應(yīng)用到Hadoop集群的資源劃分工作中，提出了一種基于模

6、糊聚類和性能評(píng)分機(jī)制的Hadoop調(diào)度器（FC-PSScheduler），并通過仿真實(shí)驗(yàn)說明了FC-PSScheduler的有效性。關(guān)鍵詞：云計(jì)算模糊聚類資源聚類Hadoop任務(wù)調(diào)度IIRESEARCHONOPTIMIZATIONOFCLOUDJOBSCHEDULINGSTRATEGYBASEDONFUZZYCLUSTERINGABSTRACTAsamajortechnicalsolutionofbigdataanddistributedcomputing,cloudcomputingprovidestheclusterresourcestotheendusersinth

7、eformofon-demandservices.Howtoallocateresourcesandschedulejobseffectivelyandreasonablyhavebecomethekeypointsanddifficulties.Itnotonlyhasaninfluenceontheefficiencyoncloudcomputingapplications,butalsohasadirectimpactontheoverallperformanceofcloudplatformandusersatisfa