資源描述:
《基于Hadoop視頻轉(zhuǎn)碼的任務(wù)調(diào)度算法_畢莎莎》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。
1、基于Hadoop視頻轉(zhuǎn)碼的任務(wù)調(diào)度算法11,2,34畢莎莎,陳清華,高煜紅(1.南京工業(yè)大學(xué)電子與信息工程學(xué)院,江蘇南京210009;2.浙江清華長(zhǎng)三角研究院,浙江嘉興314006;3.北京大學(xué)軟件與微電子學(xué)院,北京102600;4.浙江工業(yè)大學(xué)信息工程學(xué)院,浙江杭州310023)摘要:現(xiàn)有的分布式轉(zhuǎn)碼系統(tǒng)大多沒有考慮到根據(jù)計(jì)算節(jié)點(diǎn)的處理能力分配轉(zhuǎn)碼任務(wù)量,對(duì)轉(zhuǎn)碼過(guò)程造成影響,導(dǎo)致轉(zhuǎn)碼效率降低。針對(duì)這一問題,在對(duì)現(xiàn)有Max-Min算法的研究基礎(chǔ)上,提出一種新的任務(wù)調(diào)度算法。利用佩奇排名算法評(píng)估機(jī)器轉(zhuǎn)碼性能,
2、輸入視頻被分成大小不同的段,依據(jù)其復(fù)雜度和機(jī)器的轉(zhuǎn)碼能力進(jìn)行映射。處理能力強(qiáng)的節(jié)點(diǎn)將分配到更多的視頻塊,最終所有計(jì)算節(jié)點(diǎn)的完成時(shí)間得到均衡化。實(shí)驗(yàn)結(jié)果表明,該算法能夠顯著提升視頻轉(zhuǎn)碼效率,在很大程度上改善了云轉(zhuǎn)碼系統(tǒng)。關(guān)鍵詞:分布式轉(zhuǎn)碼;任務(wù)調(diào)度;佩奇排名;均衡化中圖分類號(hào):TN92文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1003-3114(2014)02-63-4SchedulingAlgorithmBasedonVideoTranscodingUsingHadoop11,2,34BISha-sha,CHENQing-h
3、ua,GAOYu-hong(1.CollegeofElectronicsandInformationEngineering,NanjingUniversityofTechnology,NanjingJiangsu210009,China;2.YangtzeDeltaRegionInstituteofTsinghuaUniversity,JiaxingZhejiang314006,China;3.SchoolofSoftwareandMicroelectronics,PekingUniversity,Beij
4、ing102600,China;4.CollegeofInformationEngineering,ZhejiangUniversityofTechnology,HangzhouZhejiang310023,China)Abstract:Allocationvideosinaccordancewiththeprocessingcapacityofcomputingnodeshasasignificantimpactontranscodingperformance,whichiscurrentlynottak
5、enbymostexistingdistributedtranscodingsystemsintoaccount,resultingindegradationoftranscodingefficiency.Toaddressthisproblem,basedontheresearchofexistingschedulingalgorithmMax-Min,amodifiedalgorithmisproposed.ThispaperusedaPageRanktoevaluatethecomputerperfo
6、rmance.Inputvideosequencesaredividedintosegments,andmappedtomultiplecomputers.Computingnodeswithhigherhandlingabilitieswillgetmorevideosegments.Obviously,itwouldaveragethefinishtimeofthecomputers.Experimentalresultsshowthattheproposedalgorithmcanachieveper
7、formanceimprovementoftranscodingefficiency,andenhancedistributedtranscodingsystemtoalargeextent.Keywords:distributedtranscoding;taskscheduling;PageRank;loadbalance的轉(zhuǎn)換,目的是把輸入的壓縮流轉(zhuǎn)換成符合接收端0引言要求的壓縮流。隨著視頻數(shù)據(jù)量的急劇增長(zhǎng),傳統(tǒng)網(wǎng)絡(luò)視頻已成為人們生活中不可或缺的一部的視頻轉(zhuǎn)碼系統(tǒng)存在存儲(chǔ)能力不足、存儲(chǔ)能力和處分。截止到
8、2012年,美國(guó)有將近90%的人通過(guò)網(wǎng)理能力不可擴(kuò)展的缺點(diǎn)。近年來(lái),研究人員提出多絡(luò)獲取高清視頻[1],如何保證各種移動(dòng)終端得到不[2-5]種基于Hadoop的視頻轉(zhuǎn)碼系統(tǒng),用來(lái)提高轉(zhuǎn)同的服務(wù)質(zhì)量,提供可靠的服務(wù)面臨嚴(yán)峻的挑戰(zhàn)。碼效率。文獻(xiàn)[2]在集群機(jī)器配置完全一樣的情況視頻轉(zhuǎn)碼就是從一種視頻碼流到另外一種碼流下,把視頻分別按時(shí)間、機(jī)器數(shù)目和視頻相關(guān)性分收稿日期:2013-12-20段,進(jìn)行了3組對(duì)比實(shí)驗(yàn);文獻(xiàn)