- 相關(guān)推薦
多級存儲技術(shù)在媒體資產(chǎn)管理系統(tǒng)中的應(yīng)用
多級存儲技術(shù)在媒體資產(chǎn)管理系統(tǒng)中的應(yīng)用
2002中南地區(qū)廣播電視技術(shù)年會優(yōu)秀論文一等獎一、 概述
1、媒體資產(chǎn)管理系統(tǒng)產(chǎn)生的背景
廣播電視經(jīng)過幾十年的發(fā)展，積累下來許多珍貴的電視節(jié)目資料。這些資料是對社會發(fā)展有著重要意義的圖文聲像復(fù)合媒體，是一筆不可復(fù)得的、極為貴重的資產(chǎn)。在今天數(shù)字化、網(wǎng)絡(luò)化的時代里，更好地保存、管理和利用這筆資產(chǎn)，是電視臺今后開展多種業(yè)務(wù)、增加新的效益增長點的根本。
傳統(tǒng)的節(jié)目保存方法是將記錄有內(nèi)容的錄像帶貼上標簽存放在帶庫的架子上，目前幾乎所有電視臺都是采用這種方法。由于技術(shù)、保存和管理的局限，使得電視節(jié)目資料的再利用率極低，相當一部分還正在發(fā)生質(zhì)量惡化，甚至信息消失，這是一個極其嚴峻的問題。而導致這個問題的關(guān)鍵因素是電視臺沒有建立起一套科學、有效的資產(chǎn)管理系統(tǒng)。所幸的是，科學技術(shù)的發(fā)展，特別是計算機多媒體技術(shù)的飛速發(fā)展，已經(jīng)為電視行業(yè)提供了一個解決媒體資產(chǎn)管理的較為成熟的技術(shù)方案，即媒體資產(chǎn)管理系統(tǒng)。
媒體資產(chǎn)管理是從90年代初提出的數(shù)字圖書館技術(shù)發(fā)展而來的，結(jié)合了存儲、網(wǎng)絡(luò)、數(shù)據(jù)庫、多媒體及人機交互等多項技術(shù)，主要解決視音頻等多媒體數(shù)據(jù)的存儲、編目檢索、版權(quán)和再利用等問題。本文主要對媒體資產(chǎn)管理系統(tǒng)的存儲模式做一個探討。
2、內(nèi)容存儲是媒體資產(chǎn)管理系統(tǒng)的基礎(chǔ)
獲取、存儲和管理。內(nèi)容的獲取和管理都與內(nèi)容存儲有著不可缺少的聯(lián)系，可以說內(nèi)容存儲是媒體資產(chǎn)管理系統(tǒng)的基礎(chǔ)。
二、多級存儲模式的結(jié)構(gòu)
媒體資產(chǎn)管理系統(tǒng)的核心技術(shù)是內(nèi)容存儲，所以采用什么樣的存儲模式對一個功能強大的媒體資產(chǎn)管理系統(tǒng)起到至關(guān)重要的作用。
在過去的三年里，非線性編輯網(wǎng)絡(luò)在電視臺迅速普及。以一個電視臺為例，如果每天需要使用非線性編輯網(wǎng)絡(luò)制作兩個小時的節(jié)目，那么至少需要采集六個小時的素材量。記者每天拍攝的素材量可能源源大于采集的素材量，而很多沒有制作的素材卻有幾高的保存價值。我們暫且按照六個小時的素材量計算，加上已經(jīng)播出的兩個小時的節(jié)目，我們至少應(yīng)該保存八個小時的素材量。這樣每年將有近3000小時的素材需要保存。但是由于中心存儲設(shè)備的價格較高，一個制作網(wǎng)絡(luò)里面的素材往往只能保存3-7天，所以根本無法滿足素材存儲 的需求。如何用一種相對廉價的、存儲量大的存儲設(shè)備作為系統(tǒng)的二級存儲，保證隨時能夠?qū)⒁郧暗乃夭恼{(diào)入，成為電視臺最基本和最迫切的要求。而媒體資產(chǎn)管理系統(tǒng)的多級存儲模式剛好能夠滿足這個要求。
在媒體資產(chǎn)管理系統(tǒng)的存儲模式設(shè)計中，許多廠商都推出了在線（On-line）、近線(Near-line)、離線(Off-line)三級相互結(jié)合的存儲模式。
有實際限制。最典型的離線存儲設(shè)備是磁帶，可用磁帶來描述離線設(shè)備的使用。一般情況下，磁帶并未裝入磁帶機，若要讀取某一盤數(shù)據(jù)，必須先將該盤磁帶裝入磁帶機，然后通過計算機系統(tǒng)讀取磁帶，全部操作完成后取下磁帶。所謂離線是指數(shù)據(jù)介質(zhì)并未處于隨時可以讀寫的范圍，如果使用，需要人為的介入完成。
離線存儲設(shè)備通常價格比較低廉，所以可以將總存儲做得很大。但是由于離線到在線的介質(zhì)裝載過程很長，所以離線存儲一般用來存儲那些不經(jīng)常使用的冷數(shù)據(jù)。
在媒體資產(chǎn)管理系統(tǒng)中，當采集、標引、記錄完成后，原始數(shù)據(jù)記錄載體（光盤或數(shù)據(jù)流磁帶）即可離開系統(tǒng)，存放在一般的儲存架上了，由于媒體資產(chǎn)管理系統(tǒng)一般采用MPGE-4視音頻的在線查詢和瀏覽，在大量的查詢和瀏覽視音頻的工作中是不需要訪問原始記錄數(shù)據(jù)的。一旦查詢系統(tǒng)確定要使用某一個（一批）素材時，針對離線的素材，系統(tǒng)會告訴你所需的素材在幾號盤帶上，在人工干預(yù)下，將該盤帶放入系統(tǒng)的讀寫驅(qū)動器內(nèi)，系統(tǒng)自動地將節(jié)目或素材遷移拷貝到在線存儲體中，供節(jié)目的制作、播出使用。
圖2-4：近線存儲數(shù)據(jù)流向示意圖
◆近線存儲系統(tǒng)的工作原理
從近線存儲數(shù)據(jù)流示意圖我們可以看出，近線存儲系統(tǒng)一般是采用硬盤、磁帶或光盤作為存儲介質(zhì)，并結(jié)合相應(yīng)的存儲管理軟件。其中硬盤用于存放數(shù)據(jù)檢索系統(tǒng)，磁帶和光盤用于存放大量的數(shù)據(jù)信息。當素材使用頻率很低時，存儲管理軟件就根據(jù)事先設(shè)定的遷移策略，把素材從硬盤中遷移到磁帶庫或光盤庫中，而這段素材的索引被保存在硬盤上。當用戶需要訪問近線存儲的磁帶庫或光盤庫時，首先通過存儲管理軟件，確定盤或帶的存放位置，然后控制機械手將目標磁帶或光盤裝入相應(yīng)驅(qū)動器，并啟動讀寫操作，以完成數(shù)據(jù)訪問。這個過程完全由計算機管理系統(tǒng)自動完成，不需要人工干預(yù)，管理員要做的只是制定一個規(guī)則。
◆近線存儲系統(tǒng)的優(yōu)點
近線存儲系統(tǒng)兼具硬盤在線系統(tǒng)和磁帶、光盤離線系統(tǒng)的優(yōu)點：
（1）近線存儲系統(tǒng)的數(shù)據(jù)檢索部分位于硬盤上，吸納了在線存儲系統(tǒng)訪問速度快的優(yōu)點，從而為用戶的數(shù)據(jù)訪問提供最快的響應(yīng)速度；
（2）近線系統(tǒng)將大量使用頻率較低的數(shù)據(jù)遷移到磁帶庫或光盤庫中，吸納了離線存儲系統(tǒng)數(shù)據(jù)容量近無限的優(yōu)點，同時也節(jié)省了在線部分的硬盤空間；
（3）為中心存儲設(shè)備提供了一種安全備份。由于媒體資產(chǎn)管理系統(tǒng)的遷移策略將一些素材轉(zhuǎn)移到大容量的近線存儲設(shè)備上，僅在在線存儲設(shè)備上保存資料索引。鏡像資料功能的設(shè)計可保證網(wǎng)絡(luò)中心存儲設(shè)備發(fā)生災(zāi)難損壞時，所有保存在近線設(shè)備上的素材節(jié)目資料都可從近線存儲設(shè)備恢復(fù)。
◆近線編輯
記者和編輯可以利用存儲在硬盤中的索引文件，可直接對資料進行虛編輯。即直接對索引文件打點編輯，虛編輯的結(jié)果產(chǎn)生兩個文件：一個是編輯的EDL表，一個是實際資料讀取的描述文件LIST文件，用來從近線設(shè)備中依次讀取實際的素材文件。在通過LIST文件讀取實際素材文件后，將EDL表中的索引文件名更換成實際的素材文件名，產(chǎn)生最后的輸出結(jié)果。
三、存儲介質(zhì)分析與選擇
存儲技術(shù)的飛速發(fā)展，為廣播電視節(jié)目的保存帶來了新的解決方法。目前，存儲介質(zhì)大體可分為以下幾類：磁盤、光盤和數(shù)據(jù)流磁帶。下面就對這幾種存儲介質(zhì)進行分析比較。
（一）、存儲介質(zhì)分析
1、磁盤與磁盤陣列
（1）硬磁盤
硬盤對于我們大家并不陌生，它應(yīng)該是存儲系統(tǒng)中最常用到的介質(zhì)了。 其特點是響應(yīng)速度快，讀寫速率和傳輸速率高，但價格較貴，一般作為快速讀寫存儲介質(zhì)，存放常用數(shù)據(jù)并作為系統(tǒng)的數(shù)據(jù)處理、緩存及中轉(zhuǎn)中心。硬盤的性能用容量、讀寫速度、傳輸碼率、響應(yīng)時間等指標來衡量。目前硬盤單碟最大容量是80G，主流硬盤的轉(zhuǎn)速多為5400rpm或7200rpm，高檔系統(tǒng)中一般使用轉(zhuǎn)速為10000rpm或更高的硬盤。
（2）磁盤陣列
媒體資產(chǎn)管理系統(tǒng)所需硬盤容量非常大，單個硬盤顯然不能滿足要求，因此一般使用硬盤陣列。
磁盤陣列又叫RAID（Redundant Array of Inexpensive Disks--廉價磁盤冗余陣列），是指將多個類型、容量、接口，甚至品牌一致的專用硬磁盤或普通硬磁盤連成一個陣列，使其能以某種快速、準確和安全的方式來讀寫磁盤數(shù)據(jù)，從而達到提高數(shù)據(jù)讀取速度和安全性的一種手段。磁盤陣列是一種高效、快速、易用的網(wǎng)絡(luò)存儲備份設(shè)備，其容錯技術(shù)提供以下幾個級別（Level）, RAID-0、RAID-1、RAID-3、RAID-5及混合級RAID 0+1。
硬磁盤技術(shù)發(fā)展非常快，隨著其容量提高、價格下降，以及移動硬盤技術(shù)的成熟，硬盤在存儲介質(zhì)中必將占有重要的地位。
2、光盤、光盤庫與光盤網(wǎng)絡(luò)鏡像服務(wù)器
（1）光盤
DVD主要的限制有：單盤密度較低，只有4.7GB（單面）或9GB（雙面），這對于高碼率記錄而言，如碼率為25~50Mbps，意味著只能記錄12~25分鐘（單面），對于長節(jié)目則需要反復(fù)交換盤片，從而影響到素材的錄入速度。DVD還有一個比較嚴重的問題，這就是它的傳輸速率較低，一般只有3Mps，傳輸速率過低將導致復(fù)制及傳輸時間增加，DVD的刻寫或記錄速度也不夠令人滿意。不過我們也可喜的看到，隨著科學技術(shù)的發(fā)展，DVD光盤存儲出現(xiàn)許多新技術(shù)。在這些DVD光盤存儲新技術(shù)中，比較有代表性的當數(shù)由9家國際技術(shù)公司（三星、湯姆森、先鋒、日立、松下、夏普、飛利浦和LG等）在2002年2月19日推出了一種新型"藍光盤"（Blu-ray Disc）和美國InPhase公司在2002年4月8日至11日展示的該公司的全息記錄技術(shù)"Tapestry"。
（2）光盤庫
然而我們知道，就目前的技術(shù)而言，一張光盤的存儲容量是很有限的，對于需要存儲海量媒體數(shù)據(jù)的媒體資產(chǎn)管理系統(tǒng)來講是遠遠不夠的。要想獲得海量信數(shù)據(jù)的網(wǎng)絡(luò)存取，就必須將保存有大量不同信息的幾十張甚至幾百張光盤組合起來使用。
光盤庫實際上是一種可存放幾十張或幾百張光盤并帶有機械臂和一個光盤驅(qū)動器的光盤柜。光盤庫也叫自動換盤機，它利用機械手從機柜中選出一張光盤送到驅(qū)動器進行讀寫。它的庫容量極大，機柜中可放幾十片甚至上百片光盤片，這種有巨大聯(lián)機容量的設(shè)備非常適用于電視臺的媒體資產(chǎn)管理中。
光盤庫的特點是：安裝簡單、使用方便，并支持幾乎所有的常見網(wǎng)絡(luò)操作系統(tǒng)及各種常用通訊協(xié)議。由于光盤庫普遍使用的是標準EIDE光驅(qū)（或標準5片式換片機），所以維護更換與管理非常容易，同時還降低了成本和價格。又因光盤庫普遍內(nèi)置有高性能處理器、高速緩存器、快速閃存、動態(tài)存取內(nèi)存、網(wǎng)絡(luò)控制器等智能部件，使得其信息處理能力更強。
光盤庫的技術(shù)指標包括存儲容量、驅(qū)動器類型、驅(qū)動器數(shù)量、單盤光盤容量，裝載時間、光盤存取時間、接口方式和支持的管理軟件等。下面以JVC Mc7600光盤庫為例，該光盤庫是目前業(yè)界關(guān)注和市場流行的高端產(chǎn)品，其技術(shù)指標如表3-2：
磁帶格式的發(fā)展從傳統(tǒng)的DAT4mm、8mm、Tranvan、QIC、AIT、3480/3490、DLT一直到最新的高速磁帶格式DTF、SUPERDLT、LTO。
從媒體資產(chǎn)管理系統(tǒng)對存儲介質(zhì)的容量、性能、使用壽命等方面的要求來看，只有采用高速磁帶格式，才能滿足這種要求。表3-3是DTF、SUPERDLT和LTO三種高速磁帶格式技術(shù)指標的比較：
（2）磁帶庫
磁帶庫是一種機柜式的、將多臺磁帶機整裝到一個封閉系統(tǒng)中的存儲設(shè)備。磁帶庫是近線存儲系統(tǒng)中的關(guān)鍵設(shè)備之一。它由數(shù)臺磁帶機、機械手和數(shù)盒磁帶構(gòu)成，可實現(xiàn)磁帶自動拆卸和裝填，容量可達數(shù)百個PB可以在存儲管理軟件的控制下實現(xiàn)智能恢復(fù)、實時監(jiān)控和統(tǒng)計。磁帶庫就象是一個將磁帶塞到磁帶機中的"機器人"，能夠達到高速度、高效率、高存儲容量的要求，且系統(tǒng)的擴展能力很強。
磁帶庫的技術(shù)指標包括存儲容量、驅(qū)動器數(shù)量、單盤磁帶容量、驅(qū)動器存取速度、連接方式和支持的管理軟件等。通常，磁帶庫按照容量大小分成三個級別：初級、中級和高級。其中，初級磁帶庫的容量在幾百GB至幾個TB，中級磁帶庫的容量在幾個TB至幾十TB，而高級磁帶庫的容量在幾十TB至幾百TB甚至更高。
IBM Ultrium 3584和SONY PetaSite 8400磁帶庫都屬于高級磁帶庫級別，表3-4：列出了兩者的關(guān)鍵技術(shù)指標。
電視臺媒體資產(chǎn)管理系統(tǒng)所使用的素材需求按照質(zhì)量要求可以分為兩類。第一類是瀏覽和檢索，這一類用得最多，包括生產(chǎn)工藝中的庫存資料調(diào)查、素材選擇、節(jié)目審查等，支持低碼流服務(wù)，使用光盤介質(zhì)比較合適。第二類是節(jié)目制作，要求比較高的碼率以保證制作質(zhì)量，但是它用得不多，其用量只需與節(jié)目生產(chǎn)量保持在同一數(shù)量級或略高一點即可。硬盤適用于對查詢速度要求高的場合，存放常用的數(shù)據(jù)；磁帶作為主要存儲介質(zhì)，存放日常的大量數(shù)據(jù)；光盤作為新生的存儲媒介，有遠大的發(fā)展前景，但目前尚不宜大規(guī)模應(yīng)用，只能作為磁盤、磁帶存儲的一種補充手段。
在目前技術(shù)條件下，在線存儲采用硬盤是唯一的選擇。離線存儲介質(zhì)必須與近線存儲介質(zhì)一致，關(guān)鍵是如何選擇近線存儲介質(zhì)。
磁帶作為一種傳統(tǒng)的海量存儲設(shè)備，其具有大容量、低成本、高技術(shù)、可管理性等四個方面的優(yōu)點，讓它在二級存儲中占有重要的地位；光盤具有查詢快捷、方便、低成本的優(yōu)勢，在部分場合也可作為二級存儲的介質(zhì)。但是由于硬盤的價格在不斷降低，同時硬盤具有傳輸速率高，尋址迅速的優(yōu)點，在有些場合下，用戶也將部分硬盤空間虛擬成磁帶庫等近線存儲設(shè)備，以提高效率，但這樣做，成本還是很高，一般和磁帶或光盤配合使用，進行近線存儲。對于采用哪種介質(zhì)，用戶應(yīng)根據(jù)自身的實際情況及應(yīng)用目的進行選擇。
同時，對于節(jié)目來說，對同一個節(jié)目應(yīng)該針對不同的使用需求選擇多種介質(zhì)進行保存，比如，可以選擇支持高碼流服務(wù)的數(shù)據(jù)磁帶作為節(jié)目保存的主要介質(zhì)，而選擇光盤作為節(jié)目保存的輔助介質(zhì)以支持低碼流服務(wù)。
四、分級存儲管理軟件
近線存儲系統(tǒng)中非常關(guān)鍵的是用于存儲管理的分級存儲管理軟件（HSM）。所謂分級是指將使用頻率較高的數(shù)據(jù)存放在硬盤中，而將使用頻率較低的數(shù)據(jù)存放在磁帶庫和光盤庫中，數(shù)據(jù)在不同的層次之間流動，且這一過程完全由分級存儲管理軟件自動完成，管理員要做的只是規(guī)定一個規(guī)則。
對于一個好的分級存儲管理軟件來說，數(shù)據(jù)遷移功能的設(shè)計尤為重要。管理員能方便的通過各種設(shè)定的遷移策略將離線存儲、近線存儲和在線存儲設(shè)備聯(lián)系起來。對用戶而言，整個分級存儲系統(tǒng)類似于一個無限大的硬盤，數(shù)據(jù)的存儲和遷移均在后臺進行。系統(tǒng)的遷移可以考慮充分利用空閑時段，集中處理數(shù)據(jù)遷移，以提高系統(tǒng)網(wǎng)絡(luò)帶寬的利用效率。分級存儲管理結(jié)構(gòu)圖如圖4-1所示。
根據(jù)以上的闡述和分析，可以總結(jié)多級存儲模式的特點如下：
1、降低了存儲系統(tǒng)的單位存儲成本
由于多級存儲模式采用硬盤、磁帶、光盤相結(jié)合的存儲介質(zhì)，相對于僅使用硬盤存儲數(shù)據(jù)來說，存儲成本要大大地降低。
2、大容量、平滑的存儲容量擴展
目前，隨著電視臺業(yè)務(wù)的不斷增加，需要存儲的媒體數(shù)據(jù)量爆炸性增長，數(shù)據(jù)總量呈指數(shù)上升，媒體資產(chǎn)管理系統(tǒng)必須具有足夠的容量以適應(yīng)不斷增長的數(shù)據(jù)量。多級存儲模式采用近線存儲，無論是磁帶庫，還是光盤庫，容量都可以達到PB級，采用離線存儲，更是可以獲得無限制的存儲容量。
多級存儲模式不僅能提供大容量，還具有平滑的存儲容量擴展的特點，存儲網(wǎng)絡(luò)上添加存儲設(shè)備的過程對用戶透明，而且任何工作站都不需停機。在進行應(yīng)用擴展、系統(tǒng)測試、數(shù)據(jù)遷移、應(yīng)用恢復(fù)的時候，不必增加物理容量，而是以邏輯復(fù)制的方式滿足存儲需求；當用戶請求新的存儲需求或要求訪問權(quán)限調(diào)整時，不會中斷其他用戶的數(shù)據(jù)訪問。
3、高性能的數(shù)據(jù)訪問
對于電視臺的非線性制作網(wǎng)、硬盤自動播出系統(tǒng)、視頻點播系統(tǒng)來說，較高的訪問速度是至關(guān)重要的。在多級存儲模式中，網(wǎng)絡(luò)中的各個編輯工作站、配音工作站、審片工作站，瀏覽工作站任何時候都可以無阻礙的實時獲得所需要的各種數(shù)據(jù)。
4、高可用性
對于媒體資產(chǎn)管理系統(tǒng)來說，必須保證媒體數(shù)據(jù)始終是安全可用的。在任何情況下，例如系統(tǒng)產(chǎn)生錯誤或遇到意外災(zāi)難，數(shù)據(jù)都不能丟失。系統(tǒng)應(yīng)具有快速故障恢復(fù)能力，保證應(yīng)用系統(tǒng)永不停機（7×24小時不間斷工作），數(shù)據(jù)始終保持完整性和一致性。
多級存儲模式中的在線存儲采用磁盤陣列作為存儲設(shè)備，而磁盤陣列是一種最基本的高可用存儲技術(shù)。多級存儲模式中的近線存儲子系統(tǒng)中，分布在各個層次中的數(shù)據(jù)，在軟件的支持下可自動遷移或備份。硬盤或陣列盤中大量積壓的過時文件或數(shù)據(jù)能自動遷移到近線存儲設(shè)備中，使硬盤或陣列盤中永遠保持足夠的空間；對已遷移出硬盤或陣列盤的文件，系統(tǒng)提供透明檢索，當用戶要訪問已被遷移走的文件時，它又能從近線存儲設(shè)備中恢復(fù)，映象到在線文件系統(tǒng)。還能根據(jù)用戶定義自動備份數(shù)據(jù)，遇到災(zāi)難時可迅速恢復(fù)數(shù)據(jù)，使整個系統(tǒng)很快投入正常運行。除了恢復(fù)遷移文件會導致延時之外，遷移、備份和恢復(fù)對用戶都是透明的。
5、實現(xiàn)集中管理
多級存儲模式中將處理過程集中到一個中心管理站上，依靠存儲管理軟件來對存儲設(shè)備和素材進管理，在存儲管理軟件上可以設(shè)定素材遷移的管理軟件對在線設(shè)備、近線設(shè)備和離線設(shè)備進行統(tǒng)一管理。同時管理軟件對數(shù)據(jù)資源、存儲設(shè)備和空間的使用權(quán)限和日志有嚴格完備的定義。
五、結(jié)論
總之，從IT技術(shù)的角度來說，現(xiàn)在已逐漸進入了一個以存儲為中心的階段。在其他行業(yè)先行的情況下，電視行業(yè)也開始認真考慮數(shù)字化存儲的問題。從今年開始媒體資產(chǎn)管理技術(shù)已成為業(yè)內(nèi)的熱門話題，說明了電視行業(yè)數(shù)字媒體資產(chǎn)管理將成為電視行業(yè)的一個趨勢。 而無論是從數(shù)據(jù)的海量存儲、高性能訪問、高可用性、可管理性，還是從節(jié)省硬件投資和人力資源，多級存儲模式不失為媒體資產(chǎn)管理系統(tǒng)存儲模式的最佳選擇。
【多級存儲技術(shù)在媒體資產(chǎn)管理系統(tǒng)中的應(yīng)用】相關(guān)文章：
多媒體技術(shù)在地理信息系統(tǒng)中的應(yīng)用08-06
閃速存儲器在圖像采集系統(tǒng)中的應(yīng)用08-06
HDTV制作中廣泛應(yīng)用的數(shù)字媒體領(lǐng)域存儲技術(shù)08-06
多端口存儲器在多機系統(tǒng)中的應(yīng)用08-06
多媒體技術(shù)在美術(shù)教學中的應(yīng)用08-17
論虛擬存儲技術(shù)及其在視頻網(wǎng)絡(luò)中的應(yīng)用08-06
探討重復(fù)數(shù)據(jù)刪除技術(shù)在中央電臺媒資備份存儲系統(tǒng)中應(yīng)用08-17