摘 要：分析了網(wǎng)球視頻中的語義信息;根據(jù)網(wǎng)球比賽中球員休息的時間特點和場地幀的切換方式，提出了幀的近一化概念,并且使用自定義的幀切換時間差法對網(wǎng)球視頻中的廣告進(jìn)行定位,設(shè)計了一個用Java開發(fā)的廣告定位系統(tǒng)。通過對4場比賽進(jìn)行實驗，結(jié)果表明該方法的廣告定位效果相當(dāng)理想。
關(guān)鍵詞：幀切換；  幀的近一化； 廣告定位

    隨著體育事業(yè)的發(fā)展，網(wǎng)球這項運動被越來越多的人所喜愛，而廣告在日常生活中扮演著重要的角色，贊助商會在網(wǎng)球比賽期間插播一些廣告。在網(wǎng)球視頻中，廣告自動定位算法及其應(yīng)用的發(fā)展主要有以下幾個方面的應(yīng)用:(1)對網(wǎng)球感興趣的人可以在視頻節(jié)目里快速地定位廣告并去除廣告，從而提高網(wǎng)球視頻的存儲效率;(2)對于從事網(wǎng)球視頻研究的人員來說，去除廣告的摻雜有助于提高網(wǎng)球視頻中對象的識別精確性;(3)對于廣告感興趣的人可以利用視頻廣告定位快速獲得廣告片段，從而可以節(jié)省其分析廣告制作技巧的時間。由于網(wǎng)球視頻內(nèi)容的復(fù)雜性以及所插入廣告的制作方式和表現(xiàn)手法的多樣性，很少有人對網(wǎng)球視頻中如何定位廣告進(jìn)行研究。以前的體育視頻研究通常集中在采用某個特定媒體的標(biāo)記進(jìn)行廣告定位，但媒體標(biāo)記的復(fù)雜性和不確定性，給廣告定位帶來了麻煩。普通視頻中廣告的定位方法有鏡頭突變頻率法[1]、廣告特征事先存儲法[2]、魯棒的視頻廣告檢測技術(shù)[3]和散列函數(shù)改進(jìn)算法[4]等，但是這些算法計算量大且對于網(wǎng)球視頻檢索結(jié)果不理想。本文分析了網(wǎng)球視頻中的語義信息,提出了利用幀切換時間差法進(jìn)行網(wǎng)球視頻廣告定位。該方法在一定程度上減小了運算量，廣告的定位效果也相當(dāng)理想。
1 網(wǎng)球視頻特征語義分析
    視頻由一系列的幀按照時間的順序拼接而成，幀的信息也反映了視頻的信息。對于網(wǎng)球視頻，有些幀其內(nèi)容大部分都是描述比賽場地的，稱為場地幀，其他的稱為非場地幀。場地幀最容易出現(xiàn)且出現(xiàn)次數(shù)最多，因為整個網(wǎng)球視頻基本上是一個關(guān)注網(wǎng)球比賽的過程,而網(wǎng)球比賽是不可能離開場地的。整個網(wǎng)球比賽視頻有以下列特征:(1)從場地幀開始，經(jīng)過非場地幀又回到場地幀，多次重復(fù)這樣的做法；(2)場地幀到場地幀(中間含有非場地幀但不是廣告)的切換時間非常短且遠(yuǎn)小于1.5 min，通常為幾秒到十幾秒。這是因為網(wǎng)球視頻是一個比賽的過程，不可能花更多的時間對某個球員或者觀眾進(jìn)行描述，會快速回到比賽場地上。
    幀的切換一般是指幀按時間的順序一幀一幀連續(xù)地切換，但本文描述的幀切換是指幀經(jīng)過一系列與該幀無關(guān)的幀再到與該幀相似的幀的切換，具體是指場地幀經(jīng)過非場地幀再到場地幀的切換。幀切換時間差是指前后兩個場地幀在網(wǎng)球比賽視頻中具體時間點的時間之差，也就是這兩個場地幀切換的時間間隔。由于場地幀到場地幀之間的切換頻率高且切換時間非常短，如果有商業(yè)廣告插入，那么在廣告之前的場地幀到播放廣告之后的場地幀的切換時間就會顯得更長。值得注意的是，這個切換時間遠(yuǎn)大于平常場地幀到場地幀的切換時間。廣告是在網(wǎng)球比賽球員休息時播放的，并且這個休息時間也有明文限定。不妨設(shè)球員休息的最短時間為一個閾值，通過比較這個閾值和場地幀到下一個場地幀的切換時間間隔來判定是否有廣告的存在。
2 場地幀的識別及近一化
    由于網(wǎng)球比賽場地的多樣性和幀中內(nèi)容的多樣性，從眾多的幀中找出場地幀有一定的難度。場地幀的識別關(guān)系到廣告的定位結(jié)果，為了提高場地幀的識別速度和精確性，先進(jìn)行粗識別再進(jìn)行二次識別。
2.1 粗識別
    從上文的網(wǎng)球視頻語義分析來看，場地幀基本上是對球場進(jìn)行描述，而球場類別有限且場地顏色單一，主顏色是指在某個幀所有顏色中出現(xiàn)次數(shù)最多的顏色，基于這個特點可選取主顏色作為幀的顏色特征。
     HSV空間是一種符合人類視覺感知的顏色空間，它把色彩分為色調(diào)H（Hue）、飽和度S（Saturation）和亮度V（Value）三種屬性?？紤]到場地幀的顏色特性和計算量的大小，選取HSV空間中的H值作為場地幀的顏色特征。場地幀是出現(xiàn)次數(shù)最多的幀，那么場地幀對應(yīng)的主顏色在所有主顏色中出現(xiàn)次數(shù)最多。利用這個特點,把視頻中所有幀的主顏色按顏色種類進(jìn)行分類，統(tǒng)計各種主顏色出現(xiàn)的次數(shù)，把出現(xiàn)次數(shù)最多的主顏色所對應(yīng)的幀全部查找出來（這種方法在數(shù)據(jù)庫中利用SQL語句很容易實現(xiàn)），這樣就得到了所有場地幀。
2.2 二次識別
    由于顏色特征不是場地幀的唯一特征，因此通過主顏色找出的這些幀中會含有非場地幀。為了提高廣告的定位精確度，要對通過主顏色找出的幀進(jìn)行二次識別。
     由于場地幀中的場地具有顏色單一、分布集中等區(qū)域性，而能量、熵、對比度、反差分矩是最常用的紋理特征,因此可以選取能量、熵、對比度、反差分矩作為場地幀紋理特征。能量又稱為角二階矩，是圖像灰度分布均勻性和紋理粗細(xì)的一個度量，粗紋理含有較多的能量，細(xì)紋理含有較少的能量。熵是圖像所具有的信息量的度量，若圖像沒有任何紋理，熵值接近為零;若圖像充滿細(xì)紋理，則圖像的熵值最大。對比度描述圖像的清晰度和紋理的強(qiáng)弱，值越大，表明紋理效果越明顯；值越小，表明紋理效果越不明顯。反差分矩反映圖像紋理的同質(zhì)性，度量圖像紋理局部變化的多少，其值大則說明圖像紋理的不同區(qū)域間缺少變化,局部非常均勻。由于場地幀之間的變化非常小，可以把粗識別后幀的能量、熵、對比度、反差分矩的特征值進(jìn)行降低等級量化，再利用分類的思想把這些紋理特征值進(jìn)行分類，把出現(xiàn)次數(shù)最多且能量、熵、對比度、反差分矩每一個特征值都對應(yīng)相同的幀提取出來，這些幀就是場地幀。
2.3 場地幀的近一化
     近一化的思想是：為了處理問題方便，常常把非常相似的多個物體看作為同一個物體然后對其進(jìn)行處理操作。在網(wǎng)球比賽視頻當(dāng)中，由于場地幀基本上是形容球場的，相互之間差別非常小，可以把這些幀視為同一個幀進(jìn)行處理，這種方法稱為場地幀的近一化。找到了場地幀，要對場地幀進(jìn)行近一化，可以為每一個幀設(shè)一個標(biāo)記位(tag)，把所有已經(jīng)找到的場地幀的標(biāo)記位記為1。為了便于說明下文廣告定位算法，其他幀的標(biāo)記位記為0,則所有tag=1的幀表示是近一化后的場地幀。
3 廣告定位的算法
    按照國際慣例,網(wǎng)球比賽中球員的最短休息時間為1.5 min，網(wǎng)球視頻中的商業(yè)廣告是在球員休息的時間內(nèi)播放的。通過上文的語義分析可知,平常的場地幀之間切換（不含有廣告）時間非常短，而球員的休息時間是有限制的,可設(shè)這個球員最短的休息時間為一個閾值。從場地幀到場地幀的切換時間如果大于1.5 min，那么這段含有廣告。當(dāng)tag的序列為“…1，1，1，0，0，0，1，0，0，0，0，0，0，
0，1，0，0，0，1，1，1…”時，按順序依次判斷兩個1(連續(xù)的0前后的兩個1，如上面的粗體的1)之間的時間差是否大于1.5 min，如果是,那么這一段含有廣告。算法思想如下:
    (1)在tag序列中，設(shè)X為第一次出現(xiàn)序列“1,0”中1出現(xiàn)的位置,Y為第一次出現(xiàn)序列“0,1”中1出現(xiàn)的位置,WAY為Y、X的時間差；
    (2)計算WAY的值，如果WAY≥1.5 min，則分別記錄X、Y的值（X、Y之間為廣告）；
    (3) X取下一次出現(xiàn)序列“1,0”中1出現(xiàn)的位置，Y取下一次出現(xiàn)序列“0,1”中1出現(xiàn)的位置，重復(fù)步驟(2)~(4)直到tag序列結(jié)束。
4 廣告定位結(jié)果和分析
    本文設(shè)計了一個基于Java+MySQL的廣告位置檢索系統(tǒng), 圖1所示為對比賽時間為60 min的網(wǎng)球視頻進(jìn)行檢索的結(jié)果顯示界面。單擊“打開”按鈕把視頻導(dǎo)入到檢索系統(tǒng)中，再單擊“廣告檢索”按鈕，就把視頻中的廣告檢索出來并顯示在界面上。單擊“播放”就可以播放所檢索出來的相應(yīng)廣告片段。

    對4場網(wǎng)球比賽視頻進(jìn)行實驗,廣告檢索結(jié)果如表1所示。從表1可以計算出誤檢率和漏檢率均為5.4%，檢索效果比較理想。如果把3個漏檢的廣告定位到原比賽視頻來看,會發(fā)現(xiàn)這3個廣告是在網(wǎng)球比賽之前或者比賽結(jié)束之后播放的。對于表1中的誤檢數(shù)，其中有兩個是由于在開賽后對某個球員和觀眾過多地進(jìn)行描述引起的，另外一個是網(wǎng)球運動員意外受傷所導(dǎo)致的誤檢。出現(xiàn)這些誤差也是本文方法的不足，需要結(jié)合其他方法進(jìn)行改進(jìn)?；谡Z義的網(wǎng)球視頻廣告定位方法從底層出發(fā)研究了網(wǎng)球視頻幀之間的相關(guān)性，并根據(jù)網(wǎng)球比賽中球員休息所特有的時間特征來實現(xiàn)的。由于紋理特征的提取比顏色提取算法復(fù)雜，本文先用顏色特征對場地幀進(jìn)行粗識別，再用紋理進(jìn)行二次識別，時間上要比鏡頭突變頻率法、廣告特征事先存儲法省時。使用基于視頻語義的幀切換時間差法，除了能檢索網(wǎng)球視頻中的廣告，還可以檢索如羽毛球、乒乓球等其他比賽視頻中的廣告。
參考文獻(xiàn)
[1] Hua Xiansheng, Lu Lie, Zhang Hongjiang. Robust learning-based TV commercial detection. Multimedia and ExPo, 2005.ICME 2005.IEEE International Conference， 2005.
[2] LIENHART R, KUHMUNCH R, EFFELSBERG C, et al. On the detection and recognition of television commercials[C]. Proceedings of IEEE International Conference，1997: 509-516.
[3] 張亮. 魯棒的視頻廣告檢測技術(shù)研究[D]. 北京:北京交通大學(xué),2007.
[4] 解德勝.視頻廣告檢測算法研究[D]. 重慶：西南大學(xué)，2009.