一種適合足球視頻鏡頭分割的算法_主色提取

鏡頭分割是視頻分析處理的第一步，是隨后的視頻內(nèi)容分析、分類、索引和查詢的基礎(chǔ)。因此，視頻鏡頭的分割算法，從一開始就得到廣泛的重視，它在基于內(nèi)容的視頻分析和檢索中有著最長的研究歷史和最豐富的研究成果。但是直到今天,仍然沒有相當(dāng)高效、實(shí)用的分割算法出現(xiàn)。本文試圖通過分析以往幾種傳統(tǒng)的鏡頭分割算法，從原理及用途上加以概括和總結(jié)，提出一種適合足球視頻的高效的自適應(yīng)閾值的鏡頭分割算法。

　　1鏡頭分割技術(shù)分析

　　鏡頭分割作為視頻檢索的基礎(chǔ)環(huán)節(jié)，對整個(gè)視頻分析起到了關(guān)鍵的作用，它的精度直接影響著后面幾個(gè)環(huán)節(jié)乃至整個(gè)視頻檢索系統(tǒng)或者生成視頻摘要的準(zhǔn)確率。鏡頭分割也叫鏡頭分段或鏡頭邊緣檢測，從大的角度出發(fā)，鏡頭間的轉(zhuǎn)換分為切變和漸變。切變指從某一鏡頭突然跳到另一鏡頭，轉(zhuǎn)變過程快而且沒有加入過渡效果。對于切變，檢測起來相對簡單，現(xiàn)有的一些算法已經(jīng)可以達(dá)到較高的精度；漸變是指從某一鏡頭逐漸過渡到另一鏡頭，中間有較短時(shí)間的延遲，而且伴有豐富的過渡效果。例如：淡入淡出、漸隱漸現(xiàn)、融入融岀、疊加、掃換等等，對于漸變，因?yàn)檫^渡效果復(fù)雜多變，檢測起來難度很大，目前，只針對某種或某幾種的檢測算法精度還算令人滿意。因此，漸變檢測仍然是鏡頭分割領(lǐng)域的一大難點(diǎn)。下面介紹一下幾種典型的鏡頭分割算法，通過認(rèn)真分析這些算法，實(shí)現(xiàn)了一種適合于足球視頻檢測的自適應(yīng)閾值分割算法。

　　比較典型的鏡頭分割算法主要分為四大類:基于像素的算法,基于顏色直方圖的算法,基于運(yùn)動矢量的算法和基于壓縮視頻的算法。這些算法的基本思想是：通過提取各自不同的視覺或運(yùn)動特征，比較相鄰幀之間的特征差值，若差值大于設(shè)定閾值，就說明視頻鏡頭發(fā)生了轉(zhuǎn)變。

　　1.1基于像素的算法

　　當(dāng)視頻從一個(gè)鏡頭轉(zhuǎn)換到另一個(gè)鏡頭時(shí)，相鄰圖像幀對應(yīng)像素的差值會發(fā)生很大變化，當(dāng)這一差值大于某一設(shè)定閾值時(shí)，說明鏡頭發(fā)生了轉(zhuǎn)換，這是基于像素進(jìn)行鏡頭邊緣檢測的基本原理�？偟膩碚f，影響圖像中像素變化的因素有：攝像機(jī)的運(yùn)動、變焦、視頻對象的運(yùn)動以及閃光燈的影響，另外，發(fā)生漸變時(shí)，過渡效果的影響也很嚴(yán)重。Zhang，Kankanhali和Smoliar

　　對此算法進(jìn)行了改進(jìn)，先對圖像進(jìn)行3×3矩陣濾波，減少攝像機(jī)移動和噪聲對圖像像素的影響，結(jié)果他們注意到對不同的視頻流采用不同的閾值會得到較令人滿意的效果，但是這種方法速度慢，而且閾值提前設(shè)定，需要人工調(diào)整，如果處理大數(shù)據(jù)量的視頻集，后果將難以想象。Kasturn和Jain

　　對像素差法做了擴(kuò)展，通過計(jì)算圖像子塊區(qū)域中像素點(diǎn)的灰度平均值和標(biāo)準(zhǔn)差，來檢測視頻鏡頭邊緣。這種方法雖然有較好的容錯(cuò)性，但計(jì)算量太大。因此，總的來說，單純利用像素差值算法進(jìn)行鏡頭邊緣檢測效果并不好。

　　1.2基于顏色直方圖的算法

　　顏色直方圖算法是幀間像素差法的發(fā)展，最簡單最基礎(chǔ)的是比較相鄰圖像幀的灰度或顏色直方圖，如果差值大于設(shè)定的閾值，就認(rèn)為檢測到切分點(diǎn)�；�本公式見式(1.1)。

　　(1.1)

　　分別代表圖像幀和相鄰圖像幀，j代表像素值，[0,N]代表顏色值域。H代表顏色直方圖值即圖像幀在某一像素值處像素個(gè)數(shù)。

　　Nagasaka和Tanaka

　　把圖像分成16個(gè)子塊區(qū)域，計(jì)算每個(gè)子塊區(qū)域里的直方圖，并比較相鄰圖像之間的所對應(yīng)16個(gè)子塊直方圖，舍棄8個(gè)最大的差值，這樣減少了攝像機(jī)移動和鏡頭內(nèi)物體移動噪聲的影響。Swanberg,Shu和Jain

　　等人對此算法進(jìn)行改進(jìn)，對區(qū)域顏色直方圖加權(quán)值，根據(jù)視頻流內(nèi)區(qū)域變化設(shè)定權(quán)值。在兩個(gè)圖像比較中，有可能某些顏色對于比較的結(jié)果更重要，因此，應(yīng)該給這些顏色賦予更大的權(quán)重。

　　1.3基于運(yùn)動矢量的算法

　　在鏡頭分割技術(shù)中，針對視頻數(shù)據(jù)運(yùn)動特征的分析方法有基于光流方程的方法、基于塊匹配的方法、像素遞歸方法和貝葉斯方法等，這些方法均可以描述視頻序列運(yùn)動信息。例如，在基于塊匹配的運(yùn)動估計(jì)算法中，每幀圖像被分成二維的N×N像素的子塊。假定每個(gè)子塊內(nèi)的像素都作相等的平移運(yùn)動，當(dāng)前幀的N×N子塊在上一幀對應(yīng)的子塊鄰域窗口內(nèi)搜索到與之最匹配的子塊，當(dāng)前子塊與匹配塊在二維平面上的位移即為運(yùn)動估計(jì)得到的運(yùn)動矢量。通常利用得到的運(yùn)動矢量特征來判斷鏡頭中是否含有大量的相機(jī)或?qū)ο筮\(yùn)動，這樣可以避免由于攝像機(jī)運(yùn)動給鏡頭漸變檢測帶來的誤檢。另外，為了保證在每一個(gè)塊中運(yùn)動矢量的唯一性，應(yīng)選擇較小的塊，而這也意味著每幀圖像中子塊的數(shù)目將會比較多，因而在分析過程中需要存儲和傳輸?shù)男畔⒘枯^大

　　。針對這種不足，Salari

　　0等人提出了一種快速算法－連續(xù)排除算法（SuccessiveEliminationAlgorithm，SEA），該算法降低了計(jì)算量，提高了運(yùn)算速度。除此之外，有人用四叉樹分解算法估計(jì)分析視頻序列運(yùn)動特征，起到了較好的效果。但是算法復(fù)雜度較高，并沒有得到廣泛的利用。

　　1.4基于壓縮視頻的算法

　　對于壓縮視頻文件例如MPEG-2格式的文件，可以不進(jìn)行解碼或者只進(jìn)行半解碼，直接使用壓縮視頻數(shù)據(jù)特征統(tǒng)計(jì)結(jié)果進(jìn)行視頻鏡頭邊緣檢測。它具有以下特點(diǎn)：(1)無需解碼直接進(jìn)行分段，降低了解碼的復(fù)雜性并節(jié)省了存儲空間；(2)由于壓縮視頻的低數(shù)據(jù)率，使得運(yùn)算速度可以大大提高。(3)視頻數(shù)據(jù)在壓縮的過程中，編碼器已經(jīng)對幀序列進(jìn)行了大量的分析和計(jì)算，比如幀間的運(yùn)動補(bǔ)償就需要進(jìn)行宏塊的劃分、宏塊的匹配和運(yùn)動矢量的計(jì)算等，如果能充分地利用這些經(jīng)編碼器分析計(jì)算所得出的信息如運(yùn)動矢量、DCT系數(shù)、DC系數(shù)、宏塊等，就能夠大大減少視頻分析和處理的計(jì)算量

　　。基于壓縮視頻的鏡頭分割算法，雖然并不像那些基于解壓縮視頻的算法那么簡單和普遍，但因其本身的眾多優(yōu)勢目前越來越受到廣大研究人員的青睞，可以預(yù)見的是，不久的將來，這類高效的分割算法必定會受到多媒體檢索領(lǐng)域的重視。

　　2一種適合于足球視頻的自適應(yīng)閾值鏡頭分割方法

　　前面介紹的鏡頭邊緣檢測算法的實(shí)質(zhì)是：如何找到一種或幾種良好視頻圖像特征，通過判斷相鄰圖像幀之間的特征是否發(fā)生劇烈變化，來完成視頻鏡頭邊緣檢測任務(wù)。本文利用自適應(yīng)閾值思想，綜合圖像間顏色直方圖差法和主色比例差法，給出一種自適應(yīng)閾值鏡頭分割高效算法。自適應(yīng)原則體現(xiàn)在:能夠跟隨視頻流播放實(shí)時(shí)調(diào)整幀差閾值,更加科學(xué)地進(jìn)行鏡頭分割。本算法以足球視頻為素材進(jìn)行試驗(yàn)，大體分為三個(gè)步驟：

　　Step1.計(jì)算相鄰圖像幀主色比例并作差。

　　Step2.計(jì)算相鄰圖像幀的顏色直方圖并作差。

　　Step3.幀間差自適應(yīng)閾值的確定。

　　2.1主色提取

　　HSI顏色模型中三個(gè)分量是獨(dú)立變化的，且符合人眼的主觀特性，所以選用HSI模型以更好體現(xiàn)顏色分布局部性，本文采用基于HSI顏色空間的主色提取算法

　　對圖像幀進(jìn)行主色提取。

　　顏色是一幅圖像中的重要信息，主色在顏色信息中占主要地位。足球比賽中，比賽場景分為兩類：一類是包含足球場地，另一類不包含足球場地。前者圖像幀大多數(shù)以綠色為主；后者大多情況不以某種顏色為主而是多種顏色普遍分布。本節(jié)的目的是分析這兩類場景圖像幀并提取主色。

　　為了量化的需要，HSI顏色空間三分量值須保證在[0,1]之間。在滿足主色提取精度的前提下，我們設(shè)定量化階數(shù)為100，也就是統(tǒng)計(jì)三分量在0～100范圍內(nèi)的顏色直方圖。通過計(jì)算各個(gè)分量的直方圖，找出峰值顏色

　　，然而由于場地顏色會隨著場館、天氣、燈光等因素的不同而有所改變，直接用峰值來表示主色不是很準(zhǔn)確，為此提出用包含峰值顏色的一定區(qū)間的顏色的均值來表示圖像幀主色，以保證可靠性和準(zhǔn)確性。主色提取的計(jì)算公式如下：

　　(1.2)

　　(1.3)

　　(1.4)

　　(1.5)

　　(1.6)

　　其中，

　　＝0.01表示量化系數(shù)。下面以色調(diào)直方圖為例，標(biāo)注主色顏色區(qū)間的計(jì)算過程如圖1所示，

　　0為顏色峰值

　　的像素?cái)?shù)，顏色區(qū)間的上下界

　　由式（1.2）到（1.6）確定，經(jīng)過多次試驗(yàn)，

　　取0.2較為合適。主色由式（1.6）計(jì)算，即顏色峰值

　　的左右顏色直方圖下降到

　　倍

　　的區(qū)間范圍內(nèi)所有顏色的均值。

　　圖1主色顏色區(qū)間標(biāo)注直方圖

　　2.2幀間主色像素比例差

　　提取完圖像幀主色并統(tǒng)計(jì)主色像素?cái)?shù)目，接著比較相鄰兩幀圖像主色像素占整幅圖像像素總數(shù)的比例值，大于閾值

　　的圖像幀即是可能的鏡頭邊界幀。相關(guān)計(jì)算公式見式(1.7)，圖2為原圖，圖3為主色提取后效果。

　　第i幀和第i-k幀之間幀間主色像素比例差定義為：

　　(1.7)

　　其中

　　表示第i幀主色像素占圖像幀總像素個(gè)數(shù)的比例。

　　圖2主色提取前原圖

　　圖3主色提取后效果圖

　　2.3圖像幀的顏色直方圖差

　　本文計(jì)算幀間顏色直方圖差是以RGB顏色空間為平臺，相應(yīng)的計(jì)算過程見公式(1.8)。

　　(1.8)

　　為第f幀歸一化的顏色分量m的顏色直方圖,m代表顏色分量,0,……,N代表分量顏色數(shù)。

　　2.4幀間差閾值的確定

　　圖4圖像幀間差

　　由圖4可知，選用單閾值作為固定閾值，缺乏智能性，造成使用上的局限性，所以本文采用自適應(yīng)閾值方法，能夠?qū)崟r(shí)科學(xué)地更新閾值，快速而有效地實(shí)現(xiàn)了對鏡頭邊緣的檢測�；�本思路是：伴隨視頻流的播放，逐個(gè)計(jì)算相鄰幀顏色直方圖差并求數(shù)幀幀間差平均值，比較當(dāng)前相鄰幀幀差與平均值，如果相鄰幀差大于平均值，則當(dāng)前幀即為鏡頭邊界幀，然后檢測下一個(gè)鏡頭。否則，繼續(xù)計(jì)算下個(gè)相鄰幀幀差并與平均值進(jìn)行比較，直到檢測到鏡頭邊界幀。為了提高算法的精確度，通常選取一個(gè)閾值系數(shù)

　　乘以幀差平均值作為自適應(yīng)閾值，

　　一般為1.6～2.0。

　　相應(yīng)的結(jié)構(gòu)框圖如圖5所示。

　　圖5自適應(yīng)閾值實(shí)現(xiàn)結(jié)構(gòu)框圖

　　另外，因?yàn)殓R頭內(nèi)運(yùn)動員劇烈運(yùn)動或攝像機(jī)移動等活動造成一個(gè)鏡頭內(nèi)連續(xù)幾個(gè)幀間差都大于平均值，為了避免這種誤檢現(xiàn)象，通常設(shè)定相鄰10幀內(nèi)不會出現(xiàn)第二個(gè)鏡頭邊界幀，這樣可以有效避免存在劇烈運(yùn)動的一個(gè)鏡頭分割為多個(gè)鏡頭。

　　2.5鏡頭分割算法的基本流程圖

　　本文足球視頻自適應(yīng)閾值鏡頭分割算法流程如圖6所示。

　　圖6自適應(yīng)閾值鏡頭分割算法流程圖

　　3實(shí)驗(yàn)結(jié)果分析

　　為了使實(shí)驗(yàn)數(shù)據(jù)具有普遍性和代表性，本實(shí)驗(yàn)從10場足球視頻比賽中截取10個(gè)片段作為素材，每個(gè)片段目測鏡頭數(shù)大約在50個(gè)左右。采用目前比較受歡迎的算法性能評價(jià)標(biāo)準(zhǔn)：查全率和查準(zhǔn)率。定義如下：

　　查全率＝正確檢測數(shù)/(正確檢測數(shù)＋漏檢數(shù))

　　查準(zhǔn)率＝正確檢測數(shù)/(正確檢測數(shù)＋誤檢數(shù))

　　為了證明本算法鏡頭檢測效果，選用傳統(tǒng)的基于顏色直方圖的單閾值分割方法同時(shí)進(jìn)行檢測。檢測結(jié)果記入在表1中。

　　表1鏡頭分割檢測實(shí)驗(yàn)結(jié)果

　　算法 視頻片段 目測數(shù) 正確檢測數(shù) 誤檢數(shù) 漏檢數(shù) 查全率 查準(zhǔn)率

　　片段1 52 44 6 8 84.6% 88.0%

　　片段2 49 39 7 10 79.6% 84.8%

　　基于 片段3 48 40 9 8 83.3% 81.6%

　　顏色 片段4 50 38 10 12 76.0% 79.2%

　　直方 片段5 51 42 9 9 82.4% 82.4%

　　圖的 片段6 56 41 8 15 73.2% 83.7%

　　分割 片段7 54 40 11 14 74.1% 78.4%

　　方法 片段8 45 38 8 7 84.4% 82.6%

　　片段9 47 40 9 7 85.1% 81.6%

　　片段10 55 46 12 9 83.6% 79.3%

　　片段1 52 48 3 4 92.3% 94.1%

　　片段2 49 42 6 7 85.7% 87.5%

　　自 片段3 48 43 8 5 89.6% 84.3%

　　適應(yīng) 片段4 50 45 11 5 90.0% 80.4%

　　閾值 片段5 51 48 7 3 94.1% 87.3%

　　鏡頭 片段6 56 47 10 9 83.9% 82.5%

　　分割 片段7 54 48 9 6 88.9% 84.2%

　　方法 片段8 45 45 0 0 100.0% 100.0%

　　片段9 47 44 5 3 93.6% 89.8%

　　片段10 55 50 4 5 90.9% 92.6%

　　通過分析實(shí)驗(yàn)數(shù)據(jù)，可以看出不管是查全率還是查準(zhǔn)率，本文提出的自適應(yīng)閾值鏡頭分割算法比基于顏色直方圖檢測方法都得到顯著提高，效果令人滿意。不足之處是，攝像機(jī)閃光燈以及不太明顯的漸變造成漏檢，誤檢現(xiàn)象主要發(fā)生在近鏡頭某運(yùn)動員頻繁移動或遮擋處，所以今后還要對漸變檢測及運(yùn)動特征作進(jìn)一步研究。

　　4結(jié)論

　　本文在充分理解典型鏡頭分割算法的基礎(chǔ)上，提岀了一種適合足球視頻的自適應(yīng)閾值實(shí)時(shí)鏡頭分割算法，不僅可以檢測鏡頭切變，也能夠?qū)�漸變進(jìn)行邊緣檢測。實(shí)驗(yàn)表明，本算法與傳統(tǒng)鏡頭分割算法相比，在查全率和查準(zhǔn)率方面都有很大提高。不足之處是：難以區(qū)分?jǐn)z像機(jī)閃光燈閃光和不太明顯的漸變過渡效果，還有如何將自適應(yīng)閾值思想應(yīng)用到其他體育視頻檢索領(lǐng)域也是需要進(jìn)一步研究的內(nèi)容。

　　參考文獻(xiàn)

　　1 ZHANG HJ, KANKANHALLI, A AND SMOLIAR , S W. Automatic partition of full-motion video[J].

　　2 KASTURN R JAIN R Dynamic vision[J].Washington:IEEE Computer Society Press, 1991:469~480

　　3 NAGASAKA, A AND TANAKA, Y. Automatic video indexing and full video search for object appearances

　　4 SWANBERG, D, SHU C F AND JAIN R. Knowledge guided parsing and retrieval in video databases[J]. In: Wayne Niblack, Editor. Storage and Retrieval for Image and Video Databases. Proc SPIE 1908 , February 1993: 173~187

　　5 汪祖媛, 莊連生, 莊鎮(zhèn)泉. 基于運(yùn)動信息的鏡頭切變檢測算法[J].計(jì)算機(jī)工程, 2004, 30(5): 15~16

　　6 LI W, SALARI E. Successive elimination algorithm for motion estimation[J]. IEEE Trans. on Image Processing, 1995, 4(1): 205~210

　　7 朱映映, 周洞汝. 基于內(nèi)容的壓縮視頻分段技術(shù). 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)[J], 2003, 15(12): 1457~1462

　　8 A EKIN, A.M. TEKALP. Automatic soccer video analysis and summarization[J]. IEEE Transactions On Image Processing, 2003, 12(7): 796~807

　　9 曲澤超. 足球視頻檢索技術(shù)研究與實(shí)現(xiàn)[D]. 南京: 南京理工大學(xué), 2008

　　10 曾昭平, 馬仲華, 張文軍. 自適應(yīng)實(shí)時(shí)鏡頭分割方法[J].通信技術(shù), 2002, (6): 1~3

【一種適合足球視頻鏡頭分割的算法_主色提取】相關(guān)文章：

一種基于減少內(nèi)存訪問的Pruning Fast DCT算法改進(jìn)05-07

一種用于碘熏法提取指紋的實(shí)驗(yàn)裝置08-24

關(guān)于鏡頭作文04-12

難忘的鏡頭作文05-23

生活中的鏡頭作文06-10

【熱門】難忘的鏡頭作文10-14

生活中的小鏡頭作文03-01

生活中的小小鏡頭作文03-07

醫(yī)院中的小鏡頭作文08-24

有關(guān)分鏡頭劇本范文06-08