資源描述:
《數(shù)據(jù)挖掘網(wǎng)格中作業(yè)分配與調(diào)度關(guān)鍵技術(shù)研究》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、北京郵電大學(xué)博士學(xué)位論文數(shù)據(jù)挖掘網(wǎng)格中作業(yè)分配與調(diào)度關(guān)鍵技術(shù)研究姓名:趙現(xiàn)綱申請學(xué)位級別:博士專業(yè):計算機科學(xué)與技術(shù)指導(dǎo)教師:王柏20070711北京郵電大學(xué)博士學(xué)位論文摘要數(shù)據(jù)挖掘網(wǎng)格中作業(yè)分配與調(diào)度關(guān)鍵技術(shù)研究摘要數(shù)據(jù)挖掘網(wǎng)格是一種專用網(wǎng)格,它是數(shù)據(jù)挖掘技術(shù)與網(wǎng)格技術(shù)的有機結(jié)合,主要用來解決面向海量數(shù)據(jù)的、高計算能力要求的數(shù)據(jù)挖掘問題,它能夠在動態(tài)變化的多個網(wǎng)格節(jié)點間共享資源和協(xié)同解決面向各領(lǐng)域的智能分析問題。由于數(shù)據(jù)挖掘應(yīng)用本身的復(fù)雜性和網(wǎng)格的異構(gòu)性、動態(tài)性,使得數(shù)據(jù)挖掘網(wǎng)格具有自己的特點,它的很多關(guān)鍵技術(shù)還有待進(jìn)一步研究,作業(yè)分配與調(diào)度技術(shù)
2、便是其一·作業(yè)分配與調(diào)度的核心功能是識別作業(yè)的資源需求,查詢、分配、調(diào)度和監(jiān)視資源,以盡可能高效地利用資源,提高整個網(wǎng)格系統(tǒng)的性能,保證資源使用者和提供者的利益。作業(yè)的分配與調(diào)度分為三個階段:資源發(fā)現(xiàn)、資源分配和任務(wù)調(diào)度,這是一個完整的過程,本文圍繞該過程所涉及到的關(guān)鍵技術(shù),對分配與調(diào)度架構(gòu)、作業(yè)與調(diào)度建模、資源發(fā)現(xiàn)、資源分配和定價策略等方面進(jìn)行了系統(tǒng)而深入的研究。論文的主要工作和貢獻(xiàn)歸納如下:l、提出一種基于可變結(jié)構(gòu)Petri網(wǎng)的作業(yè)模型作業(yè)分配、調(diào)度和運行過程的形式化描述有助于過程的正確性檢驗、性能評價和優(yōu)化。根據(jù)數(shù)據(jù)挖掘網(wǎng)格中作業(yè)分配與調(diào)度的
3、需求和特點,論文中提出了一種基于可變結(jié)構(gòu)Petri網(wǎng)的作業(yè)模型和相應(yīng)的作業(yè)調(diào)度模型。它們不僅能夠?qū)ψ鳂I(yè)分配與調(diào)度的過程和作業(yè)運行過程進(jìn)行精確定義,還能對整個過程進(jìn)行各種正確性和性能分析,以處理作業(yè)在使用數(shù)據(jù)挖掘網(wǎng)格中的動態(tài)、分布式資源時所產(chǎn)生的沖突、異常等問題。論文對各粒度作業(yè)之間的分解規(guī)則進(jìn)行了詳細(xì)定義,并通過設(shè)計變遷樹來分析作業(yè)網(wǎng)的性能和優(yōu)化作業(yè)的分配過程。2、提出了一種基于興趣組的分布式信息服務(wù)資源發(fā)現(xiàn)是作業(yè)分配與調(diào)度中必不可少的階段。論文中提出了一種基于興趣組的信息服務(wù),它為作業(yè)分配與調(diào)度提供可靠、高效的資源信息管理與發(fā)現(xiàn)服務(wù)。該信息服務(wù)采
4、用了信息備份和鄰居分類機制北京郵電大學(xué)通信軟件工程中心北京郵電人學(xué)博士學(xué)位論文摘要來有效地縮短查詢距離,提高查詢的成功率和保證系統(tǒng)的連通性。實驗結(jié)果表明,基于興趣組的信息服務(wù)適合于大規(guī)模的、可靠性要求高的網(wǎng)格系統(tǒng)。3、提出了一種基于性價比的資源分配機制資源分配從可用資源集中為各個任務(wù)選擇最合適的資源或資源集,并為它們分配具體的工作量,它是作業(yè)分配與調(diào)度的重要組成部分。論文中提出了一種基于性價比的資源分配機制,該分配機制在滿足任務(wù)時限和預(yù)算的前提下,使資源使用者在使用資源時達(dá)到個體的效用最大化。實驗分析表明基于性價比的分配在實現(xiàn)了用戶使用資源效用最大
5、化的同時,在分配成功率、時間和費用優(yōu)化方面也取得了不錯的效果。4、提出了一種基于資源負(fù)載預(yù)測和任務(wù)分類的動態(tài)價格機制在作業(yè)分配與調(diào)度過程中,除了要保證資源使用者的利益外,還要保證資源提供者的利益,并能實現(xiàn)系統(tǒng)資源的負(fù)載平衡。論文中提出了一種基于資源負(fù)載預(yù)測和任務(wù)分類的動態(tài)價格機制。該機制基于預(yù)測所得的資源未來負(fù)載和需求價格彈性理論提前對資源和任務(wù)進(jìn)行價格調(diào)整。論文中通過實驗來驗證了該機制的效果,結(jié)果表明該機制不僅可以促進(jìn)系統(tǒng)負(fù)載達(dá)到均衡,還可以有效地保障資源提供者的利益。關(guān)鍵詞:數(shù)據(jù)挖掘網(wǎng)格,作業(yè)分配與調(diào)度,作業(yè)建模,資源發(fā)現(xiàn),動態(tài)價格,性價比北京
6、郵電人學(xué)通信軟件T程中心Ⅱ北京郵電大學(xué)博士學(xué)位論文RESEARCHONKEYTECHNOLOGIESOFJOBALLOC棚ONANDSCHEDULINGINDA=I:AMININGGlUDDMG(DataMiningGrid)isaspecialGridanditintegratesGridtechniqueswithdataminingtechniques.DMGisusedtosolvethedataminingproblemswithmassivedataandhigllcomputingrequirements.DMGhasownchara
7、cteristicsbecauseofthecomplexityofdataminingapplicationandthedynamicandheterogeneouscharacteristicsofGrid.Therearemanykeytechniquesneedfurtherinvestigation,oneofwhichisJobAllocationandScheduling.Joballocationandschedulingisusedtoidentifyresourcerequirements,findandallocatereso
8、urces,scheduleandmonitorjobs.ItaimstomakefullUSeofGridresourc