《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 模拟设计 > 设计应用 > 一种LZ4无损压缩电路设计
一种LZ4无损压缩电路设计
2022年电子技术应用第12期
刘 勇，郭建刚，方 震
中国电子科技集团公司第五十八研究所，江苏 无锡214035
摘要： 为缓解存储系统中软件压缩算法对计算资源的大量占用，使用LZ4算法设计了一种无损压缩电路。提出了一种循环队列结构的滑动字典，结合散列表模块构建LZ4无损压缩电路，最后使用Calgary和Canterbury语料库，在Xilinx KC705 FPGA平台对电路进行验证并与软件压缩对比。结果表明所设计的LZ4无损压缩电路保持了软件压缩相同的压缩率的同时，在压缩效率上远超过软件压缩。
關(guān)鍵詞： LZ4 无损压缩 滑动字典
中圖分類號： TN46
文獻(xiàn)標(biāo)識碼： A
DOI：10.16157/j.issn.0258-7998.222840
中文引用格式： 劉勇，郭建剛，方震. 一種LZ4無損壓縮電路設(shè)計[J].電子技術(shù)應(yīng)用，2022，48(12)：59-64.
英文引用格式： Liu Yong，Guo Jiangang，F(xiàn)ang zhen. The design of the lossless compression circuit based on LZ4 algorithm[J]. Application of Electronic Technique，2022，48(12)：59-64.
The design of the lossless compression circuit based on LZ4 algorithm
Liu Yong，Guo Jiangang，Fang Zhen
No.58 Institute，China Electronic and Technology Corporation，Wuxi 214035，China
Abstract： To decrease the costs of the implementation of compression by software in a storage system, the lossless compression circuit based on LZ4 algorithm is proposed in this paper. The sliding dictionary with circulating queue structure is used, together with the Hash Table module to design the lossless compression circuit based on LZ4. Finally, the design is tested and verified with Calgary corpus and Canterbury corpus on Xilinx KC705 FPGA platform. The results are compared with LZ4 software method and it can be concluded that the compression efficiency of LZ4 circuit method greatly faster than the software method obviously, while the compress ratios keep the same.
Key words : LZ4；lossless compression；sliding dictionary

0 引言

    隨著計算機(jī)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展和用戶的激增，互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)量也呈現(xiàn)爆發(fā)式增長的態(tài)勢。如何提高存儲器利用效率，存儲不斷產(chǎn)生的海量數(shù)據(jù)，成為存儲系統(tǒng)領(lǐng)域的一大難題。自兩位以色列研究者Ziv和Lempel在1977年提出了LZ77壓縮算法[1]以來，各種基于字典匹配的LZ壓縮算法的變體相繼被提出，其中包括LZ78、LZW、LZO、LZSS等。其中，基于LZ77的變體被廣泛用于文本和位圖的無損壓縮，其壓縮編碼的效率可以很大程度上逼近信源的信息熵值[2]。LZ4正是LZ77壓縮算法面向處理速度進(jìn)行優(yōu)化所得的變體算法，其處理速度可達(dá)傳統(tǒng)LZ77壓縮算法的6倍以上[3]，目前已被廣泛用于高吞吐量的存儲系統(tǒng)[4-5]。LZ4壓縮算法的速度優(yōu)勢在于建立字典的過程中，減少了計算散列值和更新散列表單元的次數(shù)，并且采用直接編碼的方式輸出編碼，減小了輸出延遲[6-7]。但同樣由于降低散列表更新次數(shù)，導(dǎo)致LZ4壓縮算法的壓縮率會高于其他變體壓縮算法。

    與此同時，現(xiàn)有的LZ4壓縮算法基本基于x86架構(gòu)計算機(jī)的軟件實(shí)現(xiàn)，處理效率低。而且在存儲系統(tǒng)的訪問過程中，后臺運(yùn)行的壓縮程序?qū)加么罅恐醒胩幚砥?CPU)的運(yùn)算資源，造成存儲系統(tǒng)請求響應(yīng)延遲上升，嚴(yán)重情況下甚至抵消LZ4壓縮算法的速度優(yōu)勢。因此需要設(shè)計一種專用硬件電路實(shí)現(xiàn)LZ4無損壓縮，以釋放存儲系統(tǒng)中的運(yùn)算資源，提高系統(tǒng)實(shí)時性。




本文詳細(xì)內(nèi)容請下載：http://m.ihrv.cn/resource/share/2000005041。




作者信息：

劉  勇，郭建剛，方  震

(中國電子科技集團(tuán)公司第五十八研究所，江蘇 無錫214035)




wd.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。

相關(guān)內(nèi)容