資源描述:
《基于FPGA的LZO實(shí)時(shí)無損壓縮的硬件設(shè)計(jì).doc》由會員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、基于FPGA的LZO實(shí)時(shí)無損壓縮的硬件設(shè)計(jì) 本文通過對多種壓縮算法作進(jìn)一步研究對比后發(fā)現(xiàn),LZO壓縮算法是一種被稱為實(shí)時(shí)無損壓縮的算法,LZO壓縮算法在保證實(shí)時(shí)壓縮速率的優(yōu)點(diǎn)的同時(shí)提供適中的壓縮率。如圖1(A)給出了Linux操作系統(tǒng)下常見開源壓縮算法的壓縮速率的測試結(jié)果,LZO壓縮算法速率極快;如圖1(B)給出了Gzip壓縮算法和LZO壓縮算法的壓縮率測試結(jié)構(gòu),從圖中可以看出,LZO壓縮算法可以提供平均約50%的壓縮率?! ?LZO壓縮算法基本原理分析 1.1基于FPGA的LZO實(shí)時(shí)無損壓縮的硬件設(shè)計(jì) 本文通過對多種壓縮算法作進(jìn)一步研
2、究對比后發(fā)現(xiàn),LZO壓縮算法是一種被稱為實(shí)時(shí)無損壓縮的算法,LZO壓縮算法在保證實(shí)時(shí)壓縮速率的優(yōu)點(diǎn)的同時(shí)提供適中的壓縮率。如圖1(A)給出了Linux操作系統(tǒng)下常見開源壓縮算法的壓縮速率的測試結(jié)果,LZO壓縮算法速率極快;如圖1(B)給出了Gzip壓縮算法和LZO壓縮算法的壓縮率測試結(jié)構(gòu),從圖中可以看出,LZO壓縮算法可以提供平均約50%的壓縮率。 1LZO壓縮算法基本原理分析 1.1LZO壓縮算法壓縮原理 LZO壓縮算法采用(重復(fù)長度L,指回距離D)代替當(dāng)前已經(jīng)在歷史字符串中出現(xiàn)過的字符串,其中,重復(fù)長度是指,后出現(xiàn)的字符串與先出現(xiàn)的
3、字符串中連續(xù)相同部分的長度;指回距離是指,先后兩個(gè)相同字符串之間相隔的距離(每個(gè)字節(jié)為一個(gè)單位);如果沒出現(xiàn)過(定義為新字符),則首先輸出新字符的個(gè)數(shù),再輸出新字符。例如,待處理的字符串為“ABCDEFGHABCDEFJKLM”,壓縮算法逐個(gè)處理字符,處理ABCDEFGH時(shí)沒發(fā)現(xiàn)重復(fù)字符;處理到ABCDEF時(shí)發(fā)現(xiàn)這些字符在歷史字符串中已經(jīng)出現(xiàn)過,計(jì)算重復(fù)長度為6,指回距離(當(dāng)前A離歷史A的距離)為8,則用(6,8)代替ABCDEF;處理到JKLM時(shí)沒發(fā)現(xiàn)重復(fù)字符,字符串到此處理完畢,則整個(gè)字符串被壓縮成:(08)hABCDEFGH(6,8)(04)h
4、JKLM,其中h表示16進(jìn)制?! ?.2LZO壓縮算法編碼 LZO壓縮后的數(shù)據(jù)需要經(jīng)過特定的格式進(jìn)行編碼,如圖2所示,LZO壓縮算法這樣做的目的有兩方面:調(diào)整LZO壓縮率,使得LZO適合壓縮重復(fù)長度短,但指回距離較長的數(shù)據(jù);使得解壓縮過程更加簡單,解壓縮速度更快,且不需要額外的內(nèi)存?! ?LZO壓縮算法硬件設(shè)計(jì)與加速方案 2.1LZO壓縮算法硬件結(jié)構(gòu) 如圖3(A)給出了一種LZO壓縮算法的硬件結(jié)構(gòu),其中輸入緩存模塊:用于緩存DMA傳輸?shù)拇龎嚎s數(shù)據(jù),為高速緩存模塊提供數(shù)據(jù)源用以進(jìn)行壓縮操作;高速緩存模塊:臨時(shí)緩存待壓縮數(shù)據(jù),為LZSS壓縮
5、模塊提供待壓縮數(shù)據(jù),初始化時(shí)提前寫入一定量的數(shù)據(jù);LZSS模塊:對待壓縮數(shù)據(jù)進(jìn)行壓縮處理;字典模塊:存儲壓縮過程中產(chǎn)生的壓縮信息,例如歷史字符串的索引信息,這樣便可為后續(xù)數(shù)據(jù)壓縮提供歷史字符串信息;LZO編碼模塊:對LZSS壓縮后的數(shù)據(jù)按照LZO編碼格式進(jìn)行編碼,并將編碼數(shù)據(jù)組包成固定長度的數(shù)據(jù)包,方便總線通訊;輸出緩存模塊:緩存編碼后的數(shù)據(jù),為DMA讀操作提供壓縮后的數(shù)據(jù)源;Avalon總線接口:按照Avalon總線規(guī)范對LZO壓縮算法模塊進(jìn)行封裝,為后續(xù)集成SOPC提供準(zhǔn)備?! ?.2LZO壓縮算法硬件加速方案 ?。?)分離雙端口RAM 為
6、了加速LZO壓縮算法字符串的比對過程,本文提出如圖3(B)所示的分離雙端口RAM的結(jié)構(gòu),圖中的多路選擇器1用于將待壓縮數(shù)據(jù)交替式寫入雙端口RAM1和雙端口RAM2之一中,多路選擇器2用于將讀取的數(shù)據(jù)交替式輸出。例如,現(xiàn)有字符ABCDEFGHIJ要存入雙端口RAM中,具體如下:ABCD通過多路選擇器1被寫入RAM1中的data1處,EFGH通過多路選擇器1被寫入RAM2中的data2處,IJ通過多路選擇1被寫入data3,此時(shí)LZO壓縮算法模塊需要讀取字符串BCDE,則在讀取RAM1中data1處的BCD的同時(shí)讀取RAM2中data2處的E,即給RAM
7、1讀地址的同時(shí)可以給RAM2讀地址,這樣同一時(shí)刻可以讀2處地址對應(yīng)的內(nèi)容。相比于一般性雙端口RAM結(jié)構(gòu),本結(jié)構(gòu)可以實(shí)現(xiàn)一次完成讀取操作。做進(jìn)一步擴(kuò)展可得出如下結(jié)論:若RAM的寬度為W,則讀取字符數(shù)在2W以內(nèi)時(shí),采用分離雙端口RAM結(jié)構(gòu)可以一次完成讀取操作;則讀取字符數(shù)在2~2W以內(nèi)時(shí),采用一般性雙端口RAM結(jié)構(gòu)可能要讀兩次。當(dāng)然,不僅RAM的寬度可以增加,RAM的個(gè)數(shù)也可以增加,當(dāng)RAM的寬度和RAM個(gè)數(shù)越大時(shí),完成讀操作只需一次的可能性就越大?! 。?)塊標(biāo)記 LZO壓縮算法在壓縮每個(gè)數(shù)據(jù)塊之前都要對字典模塊進(jìn)行初始化為0的操作,即對RAM進(jìn)行寫
8、0操作,然而寫0操作會耗費(fèi)若干個(gè)周期。若字典模塊深度為16K,即RAM的深度為16K,當(dāng)進(jìn)行寫0操作時(shí)至少花