- 相關(guān)推薦
一種新型的流媒體系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)_反饋機(jī)制
隨著計(jì)算機(jī)技術(shù)、壓縮技術(shù)以及網(wǎng)絡(luò)技術(shù)的發(fā)展,網(wǎng)絡(luò)中的流媒體業(yè)務(wù)也得到了飛速的發(fā)展和應(yīng)用。但是受現(xiàn)有的網(wǎng)絡(luò)帶寬和服務(wù)質(zhì)量的限制,在網(wǎng)絡(luò)上傳送大數(shù)據(jù)量的多媒體信息仍然顯得很吃力。主要原因其一是傳輸多媒體數(shù)據(jù)量相對(duì)于網(wǎng)絡(luò)帶寬而言大得多,其二現(xiàn)有的網(wǎng)絡(luò)環(huán)境不夠穩(wěn)定,在傳輸大數(shù)據(jù)量時(shí)容易造成丟包和擁塞等情況。為了解決此問(wèn)題,可以采用一種高效的編碼手段,將媒體信息在不明顯降低質(zhì)量的情況下,盡可能的壓縮數(shù)據(jù)。并可根據(jù)不同網(wǎng)絡(luò)帶寬的條件,按不同的數(shù)據(jù)壓縮比進(jìn)行數(shù)據(jù)壓縮。此外還需要在編碼過(guò)程中融入一些容錯(cuò)機(jī)制和碼率控制技術(shù),以適應(yīng)各種惡劣的網(wǎng)絡(luò)條件。為此，本文著重介紹了應(yīng)用層的基于視頻的壓縮編碼技術(shù)和基于反饋機(jī)制的帶寬自適應(yīng)策略，并在此基礎(chǔ)上構(gòu)建了一個(gè)可擴(kuò)展的、魯棒的流媒體系統(tǒng)。
流媒體技術(shù)簡(jiǎn)介
流媒體技術(shù)的開(kāi)發(fā)創(chuàng)意是從傳統(tǒng)的TCP/IP協(xié)議對(duì)通過(guò)網(wǎng)絡(luò)傳送信息的控制方法中得到的。流技術(shù)能夠按照特定的順序?qū)⑽募l(fā)送出去,而播放程序則可以邊接收數(shù)據(jù)邊播放他們。流媒體的形式主要有以下五種:流式音頻、流式視頻、流式動(dòng)畫(huà)、流式圖象、流式文本。流媒體實(shí)現(xiàn)的關(guān)鍵技術(shù)流式傳輸,流式傳輸?shù)亩x很廣泛,現(xiàn)在主要指通過(guò)網(wǎng)絡(luò)傳送媒體(如視頻、音頻等)的技術(shù)總稱(chēng)。其特定含義為通過(guò)INTERNET將影視節(jié)目傳送到PC機(jī)。目前實(shí)現(xiàn)流式傳輸有兩種方法:順序流式傳輸(progressivestreaming)和實(shí)時(shí)流式傳輸(Realtimestreaming)。在進(jìn)行流式傳輸時(shí),首先,多媒體數(shù)據(jù)必須進(jìn)行預(yù)處理才能適合流式傳輸,這是因?yàn)槟壳暗木W(wǎng)絡(luò)帶寬對(duì)多媒體巨大的數(shù)據(jù)流量來(lái)說(shuō)還顯得遠(yuǎn)遠(yuǎn)不夠。預(yù)處理主要包括兩方面:一是降低質(zhì)量;二是采用先進(jìn)高效的壓縮算法。其次,流式傳輸?shù)膶?shí)現(xiàn)需要緩存。這是因?yàn)镮nternet是以包傳輸為基礎(chǔ)進(jìn)行斷續(xù)的異步傳輸。各個(gè)包到達(dá)的時(shí)間不盡相同,因此采用接收緩存后,可以彌補(bǔ)延遲和抖動(dòng)的影響,并保證數(shù)據(jù)包的順序正確。再次,流式傳輸?shù)膶?shí)現(xiàn)需要合適的傳輸協(xié)議。HTTP協(xié)議對(duì)文本傳輸比較適宜,但對(duì)于實(shí)時(shí)圖像的傳輸,一般采用RTP/UDP來(lái)傳輸。
2精細(xì)時(shí)域可擴(kuò)展編碼
隨著因特網(wǎng)業(yè)務(wù)的巨大增長(zhǎng),在速率起伏很大的IP網(wǎng)絡(luò)及具有不同傳輸特性的異構(gòu)網(wǎng)絡(luò)上進(jìn)行視頻傳輸?shù)囊蠛蛻?yīng)用越來(lái)越多。在這種背景下,視頻分級(jí)編碼的重要性日益突出,其應(yīng)用非常廣泛,且具有很高的理論研究及實(shí)際應(yīng)用價(jià)值,因此受到人們的極大關(guān)注。視頻編碼的可分級(jí)性(scalability)是指碼率的可調(diào)整性,即視頻數(shù)據(jù)只壓縮一次,卻能以多個(gè)幀率、空間分辨率或視頻質(zhì)量進(jìn)行解碼,從而可支持多種類(lèi)型用戶(hù)的各種不同應(yīng)用要求。
MPEG-4通過(guò)視頻對(duì)象層(VOL,VideoObjectLayer)數(shù)據(jù)結(jié)構(gòu)來(lái)實(shí)現(xiàn)分級(jí)編碼。MPEG-4支持三種分級(jí)編碼方式:時(shí)域分層編碼和空域分層編碼和質(zhì)量分層編碼,此外還支持時(shí)域和空域的混合分層編碼。每一種分級(jí)編碼都至少有兩層VOL,低層稱(chēng)為基本層,高層稱(chēng)為增強(qiáng)層�；緦犹峁┝艘曨l序列的基本信息,增強(qiáng)層提供了視頻序列更高的分辨率和細(xì)節(jié)。
它在編碼的時(shí)候一次能生成多個(gè)不同分辨率的碼流。但各個(gè)壓縮層的碼率在編碼完成后就固定了,而且一般間距較大。此外傳統(tǒng)的擴(kuò)展編碼方式的對(duì)增強(qiáng)層進(jìn)行預(yù)測(cè)與補(bǔ)償編碼時(shí),都是以同層的視頻幀作為參考幀。在這種情況下,傳統(tǒng)的擴(kuò)展編碼存在以下兩個(gè)問(wèn)題:其一,碼率只能提供跳躍性變換的幾種碼率,難以完全利用網(wǎng)絡(luò)帶寬資源,用戶(hù)通過(guò)接收多個(gè)組播組的壓縮視頻數(shù)據(jù)只能獲得有限的碼率調(diào)整范圍。例如,當(dāng)編碼時(shí)提供32Kbps、96Kbps,224Kbps質(zhì)量的視頻時(shí),如果有一個(gè)帶寬為180Kbps的用戶(hù)接入,那么他最多只能獲得96Kbps的視頻質(zhì)量,帶寬利用率不高。其二、以同一增強(qiáng)層的視頻幀作為預(yù)測(cè)參考幀時(shí),一旦某一個(gè)增強(qiáng)層的幀發(fā)生錯(cuò)誤,它后面的增強(qiáng)層都將無(wú)法解碼,直到遇到下一個(gè)I幀為止,即會(huì)導(dǎo)致嚴(yán)重的錯(cuò)誤傳播現(xiàn)象。所以傳統(tǒng)的擴(kuò)展編碼更多的是用于存儲(chǔ),而由于網(wǎng)絡(luò)的異構(gòu)性和缺乏Qos保證帶寬在一個(gè)很大的范圍內(nèi)發(fā)生變化,因此面向網(wǎng)絡(luò)傳輸?shù)囊曨l編碼的目標(biāo)是將視頻壓縮成適合一個(gè)碼率范圍的碼流。
根據(jù)實(shí)際應(yīng)用的需求,要求我們的可擴(kuò)展編碼能夠提供一個(gè)在一定范圍內(nèi)連續(xù)可調(diào)的碼流,盡可能的提高網(wǎng)絡(luò)帶寬的利用率。目前我們實(shí)現(xiàn)的基本思想就是:將視頻編碼成一個(gè)可以單獨(dú)解碼的基本層碼流和一個(gè)可以在任何地點(diǎn)截?cái)嗟脑鰪?qiáng)層碼流,其中基本層碼流適應(yīng)最低的網(wǎng)絡(luò)帶寬,而增強(qiáng)層碼流用來(lái)覆蓋網(wǎng)絡(luò)帶寬變化的動(dòng)態(tài)范圍。
實(shí)現(xiàn)這種功能的編碼方式就是精細(xì)空域可擴(kuò)展編碼FGSS(FineGranularSpatiallyScalable)。PFG則是為改善FGS編碼效率而提出的視頻編碼算法,它克服了FGS編碼中編碼效率低于非可擴(kuò)展編碼及接收端視頻質(zhì)量非最優(yōu)兩個(gè)不足點(diǎn)。其基本思想是在增強(qiáng)層圖像編碼時(shí)使用前一幀重建的某個(gè)增強(qiáng)層圖像為參考進(jìn)行運(yùn)動(dòng)補(bǔ)償,以使運(yùn)動(dòng)補(bǔ)償更加有效,從而提高編碼效率。
其編碼體系結(jié)構(gòu)圖如圖1
圖1 編碼體系結(jié)構(gòu)圖
3基于反饋的帶寬自適應(yīng)策略
圖2為反饋機(jī)制的圖示，該策略利用接收端對(duì)網(wǎng)絡(luò)接收情況的分析統(tǒng)計(jì)信息，對(duì)編碼發(fā)送進(jìn)行及時(shí)、系統(tǒng)的調(diào)節(jié)。經(jīng)試驗(yàn)證明該策略能有效地應(yīng)對(duì)移動(dòng)通信網(wǎng)絡(luò)帶寬抖動(dòng)的特性，在時(shí)間與空間上具有較強(qiáng)的通用性。其時(shí)變性主要表現(xiàn)在該網(wǎng)絡(luò)發(fā)送數(shù)據(jù)的應(yīng)用過(guò)程中存在的明顯的門(mén)限效應(yīng)，即當(dāng)數(shù)據(jù)發(fā)送速率（R）低于該門(mén)限（RT）時(shí)，數(shù)據(jù)包丟失概率基本小于1%，而當(dāng)數(shù)據(jù)發(fā)送速率超過(guò)該門(mén)限時(shí)，數(shù)據(jù)包丟失概率將大幅上升，而該門(mén)限隨信道物理情況改變。因此，通過(guò)控制其發(fā)送速率小于目前網(wǎng)絡(luò)帶寬門(mén)限就可以達(dá)到降低數(shù)據(jù)包丟失概率，從而提高接收端視頻回放的實(shí)時(shí)性，連續(xù)性要求。然而，該門(mén)限值的獲得，實(shí)際是難以通過(guò)直接測(cè)量獲得的，我們應(yīng)用該門(mén)限效應(yīng)來(lái)“猜測(cè)”當(dāng)前的帶寬門(mén)限值（如圖3示）。
3.1反饋機(jī)制的流程
該“猜測(cè)”過(guò)程，主要由接收端的反饋和發(fā)送端的相應(yīng)調(diào)整所構(gòu)成，如圖4-1所示。
具體步驟如下：
首先在發(fā)送端為每一個(gè)實(shí)際發(fā)出的數(shù)據(jù)包標(biāo)記連續(xù)的序列號(hào)SN，且發(fā)送端
的包率N保持恒定，初始數(shù)據(jù)包長(zhǎng)度記做L。
接收端解析收到數(shù)據(jù)包的序號(hào)SN，根據(jù)接收到的總數(shù)據(jù)包數(shù)量N及在該時(shí)間段
內(nèi)應(yīng)該收到的總數(shù)據(jù)包數(shù)量
×N，計(jì)算出在目前時(shí)間
和
-
間的包丟失概率：
并將該丟失概率在時(shí)間t反饋至發(fā)送端。
發(fā)送端根據(jù)收到的丟包概率ρt調(diào)整目前的數(shù)據(jù)包長(zhǎng)度L。如果
丟包率較高，可能由于
造成則：降低發(fā)送速率，減少丟包率
丟包率較低，
則：提高發(fā)送速率，提高視頻質(zhì)量
其中，
為每次數(shù)據(jù)包長(zhǎng)度減小常量，
為每次數(shù)據(jù)包長(zhǎng)度增加常量；L為數(shù)據(jù)包長(zhǎng)度最小值，L為數(shù)據(jù)包長(zhǎng)度最大值。
實(shí)際應(yīng)用中，一些情況下丟包還有可能由隨機(jī)的比特錯(cuò)誤造成，在這種情況下降低發(fā)送速率將導(dǎo)致不必要的視頻質(zhì)量下降。因此需要將由發(fā)送速率大于門(mén)限出現(xiàn)的丟包與隨機(jī)比特錯(cuò)誤造成的丟包進(jìn)行區(qū)分。由于信道中的隨機(jī)比特錯(cuò)誤分布相對(duì)分散，不會(huì)在長(zhǎng)時(shí)間內(nèi)連續(xù)出現(xiàn)，而當(dāng)發(fā)送速率超過(guò)門(mén)限產(chǎn)生的丟包往往將持續(xù)較長(zhǎng)時(shí)間。所以當(dāng)一個(gè)檢測(cè)時(shí)間段內(nèi)發(fā)生丟包，而后一個(gè)檢測(cè)時(shí)間段內(nèi)無(wú)丟包則把該丟包認(rèn)為是隨機(jī)發(fā)生的，并不進(jìn)行發(fā)送速率調(diào)整，只有當(dāng)連續(xù)兩個(gè)監(jiān)測(cè)時(shí)間段內(nèi)出現(xiàn)高丟包時(shí)才開(kāi)始降低發(fā)送速率。
3.2系統(tǒng)參數(shù)的設(shè)定
:
是統(tǒng)計(jì)數(shù)據(jù)包接受數(shù)量的時(shí)間單位，
的設(shè)置必須使得系統(tǒng)在
能收到足夠的數(shù)據(jù)包用以統(tǒng)計(jì)丟包概率，而又不宜設(shè)定過(guò)長(zhǎng)導(dǎo)致對(duì)數(shù)據(jù)發(fā)送速率調(diào)節(jié)效率低下。該參數(shù)取值應(yīng)與移動(dòng)通信網(wǎng)絡(luò)信道變化速度頻率相適應(yīng)。
與
:在實(shí)際應(yīng)用中，為了最大程度地保證視頻回放的流暢，
的數(shù)值應(yīng)小于
，在面對(duì)網(wǎng)絡(luò)帶寬門(mén)限RT突然降低的情況下，能在一個(gè)
的周期內(nèi)，調(diào)整到網(wǎng)絡(luò)帶寬門(mén)限RT以下。
L:L應(yīng)小于或等于當(dāng)前網(wǎng)絡(luò)的最大傳輸單元(MaximumTransmissionUnit，MTU)。
Ns:Ns應(yīng)保證當(dāng)前發(fā)送端發(fā)送數(shù)據(jù)的最大速率，即Ns×LH應(yīng)等于網(wǎng)絡(luò)的最大有效帶寬。
L:L的設(shè)定應(yīng)保證Ns×L的是當(dāng)前網(wǎng)絡(luò)能安全地傳輸數(shù)據(jù)的最大速率值。
該反饋機(jī)制根據(jù)當(dāng)前接收端對(duì)數(shù)據(jù)包接收的統(tǒng)計(jì)信息，對(duì)視頻數(shù)據(jù)發(fā)送速率進(jìn)行迅速的調(diào)整，當(dāng)信道帶寬門(mén)限下降時(shí)，在最慢兩個(gè)
的周期內(nèi)進(jìn)行調(diào)整，將視頻傳輸?shù)耐刂圃趦蓚�(gè)
的周期內(nèi)；而當(dāng)信道帶寬上升時(shí)，也將逐步提高發(fā)送速率，獲得較高的帶寬利用率。
4系統(tǒng)設(shè)計(jì)框架
圖4 媒體傳輸流程圖
此為該系統(tǒng)完整的原理圖，多媒體信息首先通過(guò)各種采集設(shè)備如攝像頭、錄像機(jī)、攝影機(jī)等,將采集多媒體信息經(jīng)A/D轉(zhuǎn)換后存儲(chǔ)。而這些存儲(chǔ)的信息就交給媒體編碼模塊進(jìn)行高壓縮比的編碼,在編碼過(guò)程中,除了采用DCT變換和運(yùn)動(dòng)估計(jì)和補(bǔ)償算法等這些常規(guī)的媒體壓縮技術(shù)外,還采用了既滿(mǎn)足壓縮比、又適應(yīng)網(wǎng)絡(luò)條件的精細(xì)空域可擴(kuò)展性編碼。這種編碼方式經(jīng)DCT變換后,不是進(jìn)行簡(jiǎn)單的量化處理,而采用了位平面編碼技術(shù),從而可以對(duì)紋理信息進(jìn)行一個(gè)由粗到細(xì)的漸進(jìn)編碼過(guò)程。媒體信息經(jīng)編碼后需要發(fā)送到接收端,此時(shí),中間的網(wǎng)絡(luò)條件成為影響系統(tǒng)性能的關(guān)鍵因素。為此在該系統(tǒng)的服務(wù)器端增加了碼流監(jiān)控模塊,實(shí)時(shí)地反映當(dāng)前網(wǎng)絡(luò)情況,上層控制程序則根據(jù)這個(gè)反饋過(guò)來(lái)的帶寬情況及時(shí)調(diào)整發(fā)送碼流的速率。
5結(jié)束語(yǔ)
在遠(yuǎn)程教育、數(shù)字圖書(shū)館、電子商務(wù)、視頻點(diǎn)播、交互電視、遠(yuǎn)程醫(yī)療、網(wǎng)絡(luò)音/視頻、實(shí)時(shí)多媒體會(huì)議等方面,多媒體技術(shù)都起到很重要的作用。但MPEG-4受傳統(tǒng)網(wǎng)絡(luò)條件的限制,當(dāng)前要利用網(wǎng)絡(luò)條件應(yīng)用多媒體技術(shù)還需要采用一些關(guān)鍵性技術(shù)。我們相信通過(guò)這多種技術(shù)的綜合使用,必然會(huì)推動(dòng)多媒體技術(shù)應(yīng)用越來(lái)越廣泛。
參考文獻(xiàn)
1 吳國(guó)勇,邱學(xué)剛,萬(wàn)燕仔《.流媒體技術(shù)與應(yīng)用》.北京:北京郵電大學(xué)出版社,2001.
2 Srinivasan M,Chellappa R.,“Adaptive source/channel subband video coding for wireless channels”.IEEE J.Select.AreasCornmum.1998.16:(9):1830-1839.
3 Worrall S T,Sadka A H,Sweeney P,etal.,“Optimal Packetisation of MPEG4 Using RTP Over Mobile Networks”.IEEEProc-commun.2001,(4):197-201.
【一種新型的流媒體系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)_反饋機(jī)制】相關(guān)文章：
基于Client/Server 的課件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)04-12
ASP.NET的網(wǎng)站新聞管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) 204-12
TM1300 DSP系統(tǒng)的以太網(wǎng)通信接口的設(shè)計(jì)與實(shí)現(xiàn)04-12
基于Vxworks實(shí)時(shí)操作系統(tǒng)的串口通信程序設(shè)計(jì)與實(shí)現(xiàn)08-19
基于試題庫(kù)的試卷管理和自動(dòng)排版系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)08-20
實(shí)現(xiàn)基于Spring框架應(yīng)用的權(quán)限控制系統(tǒng)08-19
一種0~20Hz超低頻信號(hào)發(fā)生器的設(shè)計(jì)與實(shí)現(xiàn)08-19
新型玻璃教學(xué)設(shè)計(jì)（精選12篇）06-07