資源描述:
《lzo實時無損壓縮的硬件設(shè)計》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、隸.初女·堅工程碩士學(xué)位論文萬方數(shù)據(jù)LZO實時無損壓縮的硬件設(shè)計專業(yè)名稱:墓盛皇整工程研究生姓名:尚些些導(dǎo)師姓名:奎達(dá)夔援堂童額高王2014年5月25日萬方數(shù)據(jù)THEHARDWAREDESIGNoFLZoREAL.TIMELOSSLESSCoMPRESSIONAThesisSubmittedtoSoutheastUniversityFortheAcademicDegreeofMasterofEngineeringBYShangZhuangzhuangSupervisedbyProfessorLIBingAndSe
2、niorEngineerZHANGLixinSchoolofIntegratedCircuitsSoutheastUniversityMav2014萬方數(shù)據(jù)獨創(chuàng)性聲明東南大學(xué)學(xué)位論文獨創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是我個人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。盡我所知,除了文中特別加以標(biāo)注和致謝的地方外,論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果,也不包含為獲得東南大學(xué)或其它教育機構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示了謝意。研究生簽名:東
3、南大學(xué)學(xué)位論文使用授權(quán)聲明東南大學(xué)、中國科學(xué)技術(shù)信息研究所、國家圖書館有權(quán)保留本人所送交學(xué)位論文的復(fù)印件和電子文檔,可以采用影印、縮印或其他復(fù)制手段保存論文。本人電子文檔的內(nèi)容和紙質(zhì)論文的內(nèi)容相一致。除在保密期內(nèi)的保密論文外,允許論文被查閱和借閱,可以公布(包括刊登)論文的全部或部分內(nèi)容。論文的公布(包括刊登)授權(quán)東南大學(xué)研究生院辦理。研究生簽名:—烏斗蘆忙一導(dǎo)師簽名:日期:弘f眨廠、f7萬方數(shù)據(jù)摘要在互聯(lián)網(wǎng)基礎(chǔ)上的物聯(lián)網(wǎng)和云計算技術(shù),使人們的生活更加智能化。然而,這些技術(shù)在發(fā)展的過程中卻面臨著海量數(shù)據(jù)的傳輸和存
4、儲等亟待解決的問題。因而,尋求一種合適的方案解決海量數(shù)據(jù)的傳輸和存儲問題成為互聯(lián)網(wǎng)技術(shù)和云計算技術(shù)持續(xù)發(fā)展的一項重要任務(wù)。經(jīng)過調(diào)查和研究發(fā)現(xiàn),目前解決此類問題的一種有效且可靠的技術(shù)方案是對海量數(shù)據(jù)進(jìn)行壓縮處理。然而,無論是互聯(lián)網(wǎng)技術(shù)或云計算技術(shù),它們對數(shù)據(jù)處理的實時性要求都特別高,尋找一種合適的壓縮算法,在保證壓縮率適中的情況下滿足實時壓縮效果則顯得尤為重要。LZO(Lempel.Ziv.Oberhumer)是一種被稱為實時數(shù)據(jù)無損壓縮的算法,該算法的平均壓縮速率約為55MB/sec(2.6GHz主頻),平均壓縮
5、率約為50%。雖然LZO壓縮算法取得了適中的壓縮率和實時的壓縮速率的優(yōu)點,但是在面對互聯(lián)網(wǎng)和云計算海量數(shù)據(jù)處理時,如果采用軟件壓縮海量數(shù)據(jù),LZO壓縮算法的執(zhí)行過程會占用大量的CPU資源,另外,由于軟件串行執(zhí)行的特點使得該算法的實時性不能充分發(fā)揮。為此,本論文提出一種全新的硬件結(jié)構(gòu),利用硬件的并行性等特點使LZO壓縮算法特性得以發(fā)揮,同時釋放了算法執(zhí)行過程中占用的CPU資源。通過進(jìn)一步對LZO壓縮算法進(jìn)行研究,針對性的提出基于該硬件結(jié)構(gòu)的加速方案,使得LZO壓縮算法壓縮速率和壓縮率均有所提升。采用Altera公司
6、的SOPCBuilderI具將LZO壓縮算法模塊與Altera公司的相關(guān)IP(IntellectualProperty)模塊搭建成SOPC(SystemOnProgrammableChip,Altera公司提出的一種概念),同時在IDE(IntegratedDevelopmentEnvironment)平臺上編寫C語言,最終在AlteraEP2C35FPGA(FieldProgrammableGateArray)DE2開發(fā)板上對LZO壓縮算法模塊及SOPC進(jìn)行測試和驗證。本論文針對性的提出一種全新的LZO壓縮算法
7、硬件結(jié)構(gòu),并在該結(jié)構(gòu)的基礎(chǔ)上提出多種加速方案,使得LZO壓縮算法壓縮速率相比軟件提升4.81倍,壓縮率相比軟件提升1.37%,同時LZO壓縮算法模塊FPGA綜合頻率約為134MHz,全部達(dá)到設(shè)計指標(biāo)。本論文所做的一些工作為LZO壓縮算法應(yīng)用于互聯(lián)網(wǎng)技術(shù)和云計算技術(shù)中處理海量數(shù)據(jù)的傳輸和存儲提供參考及可能。關(guān)鍵詞:LZO,無損壓縮,硬件設(shè)計,SOPC,Avalon總線,F(xiàn)PGA萬方數(shù)據(jù)AbstractWiththedevelopmentofIntemettechnologyandcloudcomputingtech
8、nology,thelifeofpeoplehasbecomeintelligent.However,thesetechniques’Sdevelopmentisfacingwithproblems,i.e.themassivedatatransmissionandstorage.Therefore,findingapropersolutiontothetransmiss