摘 要： 研究了嵌入式系統(tǒng)中H.264 Baseline軟件解碼器設(shè)計(jì)和優(yōu)化的問題，提出了四種有效的優(yōu)化方法，并在PXA270平臺(tái)上進(jìn)行了測試。測試結(jié)果顯示，綜合使用提出的四種方法，H.264軟件解碼器在PXA270（520MHz）上運(yùn)行時(shí)幀率可以達(dá)到22f/s（CIF格式）和80f/s（QCIF格式）。
　　關(guān)鍵詞： H.264；軟件解碼器；PXA270

?

　　視頻編解碼標(biāo)準(zhǔn)H.264是由國際電聯(lián)ITU的視頻編碼專家組VCEG（Video Coding Expert Group）和國際標(biāo)準(zhǔn)化組織ISO的活動(dòng)圖像專家組MPEG（Motion Picture Expert Group）共同組成的聯(lián)合視頻組JVT（Joint Video Team）開發(fā)的視頻編解碼標(biāo)準(zhǔn)，也被稱為高級(jí)視頻編碼MPEG-4 AVC（Advanced Video Coding）或MPEG-4 Part10。H.264解碼器^[1]的主要模塊有運(yùn)動(dòng)補(bǔ)償、幀間預(yù)測、去塊效應(yīng)濾波、反變換、幀內(nèi)預(yù)測、重建等。
　　PXA270嵌入式處理器內(nèi)部包括一個(gè)XScale內(nèi)核[2]（兼容ARM9指令集），運(yùn)行頻率最高可以達(dá)到624MHz；一個(gè)無線多媒體指令擴(kuò)展WMMX(Wireless Multi-Media Extension)協(xié)處理器，能夠支持多媒體運(yùn)算指令；還包括一系列外部接口控制器、總線控制器等。
　　文獻(xiàn)[3]對H.264解碼器中的幀間預(yù)測、去塊效應(yīng)濾波、反變換、幀內(nèi)預(yù)測、重建等模塊采用了WMMX優(yōu)化，可以使其相對性能提高92%～100%。文獻(xiàn)[4]在PXA270平臺(tái)上設(shè)計(jì)了一個(gè)AVCORE多媒體函數(shù)庫，H.264解碼幀率可以達(dá)到約50f/s（QCIF格式）。文獻(xiàn)[5]則在Xscale處理器上利用WMMX技術(shù)對多種解碼器進(jìn)行了優(yōu)化，取得了較好的相對優(yōu)化效果。但是，這些方法的優(yōu)化效果有限，只利用PXA270的WMMX功能進(jìn)行了優(yōu)化，不能充分利用PXA270處理器的特點(diǎn)。
　　為了提高H.264軟件解碼器在PXA270處理器上的性能，本文研究了PXA270處理器和H.264軟件解碼器的特點(diǎn)，并針對其特點(diǎn)進(jìn)行了多方面的優(yōu)化。優(yōu)化方法主要包括WMMX并行計(jì)算優(yōu)化、多項(xiàng)式計(jì)算優(yōu)化、系統(tǒng)資源優(yōu)化和濾波算法優(yōu)化四種。
1 H.264解碼器優(yōu)化方法
1.1 WMMX并行計(jì)算優(yōu)化
　　在PXA270平臺(tái)上，可以利用PXA270處理器內(nèi)部的WMMX硬件支持對一個(gè)宏塊內(nèi)像素點(diǎn)的乘/加法操作進(jìn)行展開處理，一次執(zhí)行4/8條乘/加法，同時(shí)處理多個(gè)像素點(diǎn)。
　　WMMX軟件編程模型部分包括寄存器堆、矢量化的執(zhí)行部件和接口部件三部分^[2]。WMMX寄存器堆的位寬為64bit，包括16個(gè)SIMD寄存器、8個(gè)狀態(tài)和控制寄存器。
　　WMMX矢量化的執(zhí)行部件，包括一個(gè)執(zhí)行單元、一個(gè)乘累加單元、一個(gè)移位和序列改變單元。利用這些硬件單元，SIMD寄存器可以被組織成字節(jié)(8bit)、半字(16bit)、字(32bit)、雙字(64bit)結(jié)構(gòu)，實(shí)現(xiàn)8/4/2/1個(gè)數(shù)據(jù)的并行運(yùn)算。
　　利用WMMX的并行計(jì)算功能，H.264軟件解碼器中的很多部分可以被并行化，從而提高計(jì)算效率。例如：在H.264的運(yùn)動(dòng)估計(jì)算法中，進(jìn)行插值操作的部分算法代碼為：
　　
　　進(jìn)行并行計(jì)算優(yōu)化時(shí)，可以對上述代碼中的內(nèi)層循環(huán)部分進(jìn)行展開：
　　　　

　　利用ARM匯編語言改寫上面的代碼，調(diào)用WMMX的硬件，可以使得該內(nèi)層循環(huán)中的四個(gè)結(jié)構(gòu)相同的運(yùn)算同時(shí)進(jìn)行，這樣就大大提高了速度。在優(yōu)化過程中，對H.264模塊中的IDCT、IQUANT和插值部分的計(jì)算使用了WMMX并行計(jì)算優(yōu)化。
1.2 多項(xiàng)式計(jì)算優(yōu)化
　　利用WMMX硬件并行計(jì)算優(yōu)化，比較適用于各個(gè)像素點(diǎn)使用相同計(jì)算方法的情況。而對于那些每一個(gè)像素點(diǎn)都需要用不同的表達(dá)式進(jìn)行計(jì)算的情況，就需要采用另外的并行優(yōu)化思路。對于那些不便于進(jìn)行循環(huán)展開的代碼部分，可以嘗試對其多項(xiàng)式計(jì)算進(jìn)行優(yōu)化，使用提取公共因子、合并同類項(xiàng)的方法，提高運(yùn)算速度。
　　例如，對于如下的表達(dá)式：
　　　

　　上面的表達(dá)式中公因子合并之后，加/減法和乘法運(yùn)算的總數(shù)由原來的16個(gè)變成12個(gè)，因而提高了速度。在H.264的軟件解碼器中，運(yùn)動(dòng)補(bǔ)償和幀內(nèi)預(yù)測部分就存在著類似的代碼，可以使用提取公因式的方法來進(jìn)行優(yōu)化。文獻(xiàn)[6]已經(jīng)證明提取公因式進(jìn)行計(jì)算優(yōu)化的方法屬于NP-hard問題，本文給出了一個(gè)比較簡單的近似優(yōu)化算法，其優(yōu)化流程為：用多項(xiàng)式組中的每一個(gè)多項(xiàng)式生成一個(gè)集合S_i（i=1，2，…K，K是多項(xiàng)式的個(gè)數(shù)），其元素s_ij（j=1，2，…k，k是子式的個(gè)數(shù)）是該多項(xiàng)式的子式；設(shè)定初始搜索次數(shù)n=0，N為預(yù)先設(shè)定的搜索次數(shù)上限；計(jì)算C，C為整個(gè)多項(xiàng)式組為優(yōu)化前總的計(jì)算次數(shù)。
　　while n　　選定其中一個(gè)多項(xiàng)式的子式s_ij；
　　計(jì)算：整個(gè)多項(xiàng)式組可以減少的計(jì)算次數(shù)c；
　　if c　　　　C=c；
　　　　記錄下子式sij；
　　end
n=n+1；
end
　　本文提出的算法得到的結(jié)果可能并不是最優(yōu)的，但該方法能降低計(jì)算量，還可以應(yīng)用于除H.264解碼器以外的場合，并且適用于多種架構(gòu)的處理器。在優(yōu)化過程中，對H.264解碼器中的幀內(nèi)預(yù)測模塊使用了多項(xiàng)式優(yōu)化算法。
1.3 PXA270系統(tǒng)資源優(yōu)化
　　本文中H.264軟件解碼器最終運(yùn)行在PXA270處理器上。該處理器具有多種頻率可調(diào)組件，其內(nèi)部還具有256KB片內(nèi)SRAM，可以用于顯示圖像存儲(chǔ)。PXA270片內(nèi)系統(tǒng)總線頻率在高速模式下可以達(dá)到208MHz^[7]，并且LCD控制器的頻率可以調(diào)整，具有直接顯示YUV格式圖像的特性。充分利用好這些特性，可以大大改善H.264軟件解碼器在平臺(tái)上的運(yùn)行效率。在H.264軟件解碼器的代碼中，需要對數(shù)據(jù)進(jìn)行大量的存儲(chǔ)操作，為了提高存儲(chǔ)速度，在運(yùn)行時(shí)可以動(dòng)態(tài)地將系統(tǒng)總線頻率調(diào)整為高速模式，同時(shí)對SDRAM和Flash等存儲(chǔ)器件進(jìn)行訪問速度的調(diào)整，以保證性能要求。
　　針對H.264軟件解碼器進(jìn)行的PXA270系統(tǒng)資源優(yōu)化流程如下：
if H.264軟件解碼器運(yùn)行
　　保存處理器和總線當(dāng)前配置；
　　將處理器內(nèi)核置為超頻頻率上；
　　將系統(tǒng)總線頻率設(shè)置為高速模式；
　　為解碼器分配PXA270片內(nèi)SRAM作為緩存（受操作系統(tǒng)限制）；
end
　　if H.264軟件解碼器運(yùn)行結(jié)束
　　恢復(fù)處理器和總線配置；
end
　　系統(tǒng)級(jí)的優(yōu)化需要對處理器的頻率等關(guān)鍵資源進(jìn)行調(diào)整，這可以通過PXA270處理器的時(shí)鐘管理模塊實(shí)現(xiàn)。
1.4 濾波算法優(yōu)化
　　在H.264編解碼算法中，對濾波器算法的規(guī)定具有一定的靈活性[8]，可以在不違反標(biāo)準(zhǔn)的情況下使用自己的濾波方法。在改進(jìn)的濾波器中，通常采用的方法是改變子宏塊（Sub-Macroblock）邊界的濾波順序，從而提高存儲(chǔ)效率和數(shù)據(jù)的復(fù)用性^[9]。本文設(shè)計(jì)了一個(gè)優(yōu)化的濾波器算法，達(dá)到了一定的效果。
　　在H.264標(biāo)準(zhǔn)中，規(guī)定的標(biāo)準(zhǔn)解碼算法是：對于一個(gè)16×16的宏塊（圖像格式為YUV4:2:0），其中各個(gè)4×4的子宏塊邊界的濾波順序如圖1的標(biāo)號(hào)1～48所示。
　　在用軟件實(shí)現(xiàn)濾波算法時(shí)，一幀圖像數(shù)據(jù)的存儲(chǔ)以二維數(shù)組的方式進(jìn)行。例如，對于CIF（352×288）格式的一幀圖像，其亮度信號(hào)存儲(chǔ)在一個(gè)Y[352][288]數(shù)組中。
　　在計(jì)算機(jī)和多數(shù)嵌入式系統(tǒng)的內(nèi)存中，內(nèi)存地址是線性的，因此一個(gè)16×16的亮度宏塊(劃分為16個(gè)4×4大小的子宏塊）中每個(gè)4×4的子宏塊分別被編號(hào)為1～16。1～4子宏塊的第一行數(shù)據(jù)在內(nèi)存中的位置為M1，第二、三、四行數(shù)據(jù)在內(nèi)存M2、M3、M4。M1～M4之間的位置分別被其他16×16的宏塊所占據(jù)。5～8子宏塊在內(nèi)存中的位置為M5～M8，因此在形式上相鄰的兩個(gè)子宏塊1和5，在內(nèi)存中的位置可能差得很遠(yuǎn)。
　　在計(jì)算機(jī)系統(tǒng)中，為了充分利用數(shù)據(jù)的空間、時(shí)間相關(guān)性，會(huì)在訪問內(nèi)存中的一個(gè)數(shù)據(jù)時(shí)，把該數(shù)據(jù)相鄰區(qū)域的一塊數(shù)據(jù)都加載到緩存中。例如，當(dāng)程序訪問子宏塊1的第一行數(shù)據(jù)時(shí)，處理器會(huì)自動(dòng)把整個(gè)M1塊加載到緩存中，即第2~4個(gè)子宏塊的第一行也被加載到緩存中。由于緩存的大小非常有限，內(nèi)存中有很多地址都可以映射到緩存中的同一個(gè)地址處。例如，當(dāng)程序訪問子宏塊5的第一行時(shí)，M5被加載到緩存中，就有可能覆蓋掉原來M1在緩存中位置。而對于M1~M3來說，它們在內(nèi)存中的位置靠得比較近，因此可以被映射到緩存中的不同區(qū)域，不會(huì)相互覆蓋。
　　對于圖1中的濾波方案，會(huì)存在緩存未命中（Cache Miss）的問題。按照圖1中的濾波順序，每對一個(gè)邊界做濾波都有可能覆蓋掉前一次加載的數(shù)據(jù)，這樣會(huì)增加對內(nèi)存的訪問次數(shù)，降低速度。為了改進(jìn)這一點(diǎn)，本文提出了如圖2所示的新的邊界濾波順序。

?