基于Markov預測模型的MongoDB分片集群負載均衡策略研究和驗證.pdf

《基于Markov預測模型的MongoDB分片集群負載均衡策略研究和驗證.pdf》由會員上傳分享，免費在線閱讀，更多相關內容在學術論文-天天文庫。

1、分類號密級一編號磧士蚵究嗲像倫夂題目基于預測模型的分片集群負載均衡策略研究和驗證學院（所、中心）軟件學院專業(yè)名稱軟件工程（工學）研究生姓名尹君學號導師姓名周華職稱研究員年月論文獨創(chuàng)性聲明及使用授權本論文是作者在導師指導下取得的研究成果。除了文中特別加以標注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，不存在剽竊或抄襲行為。與作者一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示了謝意?，F(xiàn)就論文的使用對云南大學授權如下：學校有權保留本論文（含電子版），也可以采用影印、縮印或其他復制手段

2、保存論文；學校有權公布論文的全部或部分內容，可以將論文用于查閱或借閱服務；學校有權向有關機構送交學位論文用于學術規(guī)范審查、社會監(jiān)督或評獎；學校有權將學位論文的全部或部分內容錄入有關數(shù)據(jù)庫用于檢索服務。內部或保密的論文在解密后應遵循此規(guī)定）研究生簽名：導師簽名期：年月日摘要近年來，隨著技術的飛速發(fā)展，大規(guī)模分布式數(shù)據(jù)存儲技術對傳統(tǒng)的關系型數(shù)據(jù)庫帶來了前所未有的挑戰(zhàn)。關系型數(shù)據(jù)庫在面對海量數(shù)據(jù)下的高速訪問、大規(guī)模并發(fā)查詢、非結構化數(shù)據(jù)存儲以及數(shù)據(jù)庫集群的橫向擴展時，曰益顯得捉襟見肘。因此，一種全新的數(shù)據(jù)庫—非關系型數(shù)據(jù)庫

3、應運而生了。在眾多非關系型數(shù)據(jù)庫中，越來越受到應用的青睞。本文在闡述了面向文檔的特點后，重點研究了在分片集群下，默認的根據(jù)片鍵切分數(shù)據(jù)的機制和基于遷移的負載均衡策略。作者發(fā)現(xiàn)，這種基于遷移的負載均衡策略只能保證集群所存儲的數(shù)據(jù)均勻地分布到各個分片節(jié)點，并沒有考慮各個分片節(jié)點上的數(shù)據(jù)訪問熱度是否均衡。本文針對這一問題，引入隨機過程，提出了一種基于預測模型的負載均衡策略。首先，對分片集群中每個的操作狀態(tài)進行分類統(tǒng)計，用這些統(tǒng)計數(shù)據(jù)構成對應的齊次鏈，再根據(jù)齊次鏈的一系列特性建立分片集群負載均衡的預測模型，接下來預測模型將給

4、出下一個時間階段負載信息的預測值，最終根據(jù)預測值進行更合理的數(shù)據(jù)遷移工作，促使分片集群達到數(shù)據(jù)訪問熱度層面上的均衡。最后，使用云南大學系統(tǒng)所提供的測試數(shù)據(jù)，搭建了分片集群的生產(chǎn)環(huán)境，將本文提出的基于的負載均衡策略和默認的基于遷移的均衡策略的實驗結果進行對比，并對結果進行了分析。關鍵詞：非關系型數(shù)據(jù)庫；分片集群；負載均衡；隨機過程AbstractInrecentyears,withtherapiddevelopmentofWeb2technology,relationaldatabaseoflarge-scaledis

5、tributeddatastoragetechnologytothetraditionalbroughthithertounknownchallenge.Therelationaldatabaseinthefaceofhigh-speedaccess,massivedataunderlarge-scaleconcurrentqueries,unstructureddatastorageanddatabaseclusterscale，—，，，，Keywords：目錄摘要第一章緒論研究背景本文研究內容本文組織結構第二章分

6、片集群與負載均衡面向文檔的分片集群分片概述集群成員概述分片集群處理數(shù)據(jù)請求的流程負載均衡基于片鍵的基于迀移的負載均衡算法性能分析隨機過程概述系統(tǒng)狀態(tài)與狀態(tài)空間隨機事件隨機變量序列鏈與無后效性初始概率向量與轉移概率轉移概率矩陣正規(guī)轉移概率矩陣與穩(wěn)態(tài)概率第三章基于鏈的分片集群負載預測模型引用隨機過程的可行性建立級鏈3.2.1狀態(tài)空間分析隨機事件描述構建鏈有限記憶建立級一步轉移概率矩陣寫操作的概率矩陣讀操作的概率矩陣改操作的概率矩陣刪操作的概率矩陣預測級數(shù)據(jù)訪問熱度操作的穩(wěn)態(tài)概率操作的多步轉移概率計算級數(shù)據(jù)訪問熱度預測級數(shù)

7、據(jù)訪問熱度數(shù)據(jù)遷移閾值分析遷移策略第四章負載均衡實驗實驗平臺搭建實驗數(shù)據(jù)負載測試確定參數(shù)實驗流程實驗結果分析單節(jié)點過熱對比實驗兩節(jié)點過熱對比實驗無節(jié)點過熱對比實驗實驗總結第五章總結與展望5.1本文研究總結后續(xù)工作與展望參考文獻翻第一章緒論研究背景在大數(shù)據(jù)的時代背景下，基于的系統(tǒng)和應用對海量數(shù)據(jù)的存儲和高效率的數(shù)據(jù)訪問有很高的要求。傳統(tǒng)的關系型數(shù)據(jù)庫在面對非結構化數(shù)據(jù)的存儲和數(shù)據(jù)的大量并發(fā)請求時，其處理能力日益捉襟見肘。近年來，非關系型的數(shù)據(jù)庫在眾多應用中逐漸扮演重要的角色市場上有許多形形色色的非關系型數(shù)據(jù)庫產(chǎn)品。其中

8、，以其文檔式的存儲結構、出色的故障自動恢復技術和良好的性能擴展機制深受歡迎。的復制技術使得可以通過簡單的配置即可創(chuàng)建數(shù)據(jù)副本，通過心跳機制實時監(jiān)控這些副本的運行情況，及時發(fā)現(xiàn)主節(jié)點巖機、通信不可達等故障，使用選舉算法快速選舉出新的活躍節(jié)點，并通過完善的數(shù)據(jù)同步機制保證數(shù)據(jù)一致性，從而實現(xiàn)故障自動恢復‘〕。的分片技術為海量數(shù)據(jù)的存儲和增強數(shù)據(jù)訪問