- 相關推薦
數(shù)字圖書館的評估研究
【內(nèi)容提要】文章總結了過去10年來的許多研究成果，從數(shù)字圖書館評估的基本問題、一般方法、主要內(nèi)容和數(shù)據(jù)收集等方面進行了探討。【摘 要 題】實踐研究
【關 鍵 詞】數(shù)字圖書館/評估/系統(tǒng)評估/用戶評估/評估內(nèi)容/評估方法/數(shù)據(jù)收集
【 正 文】
數(shù)字圖書館建設是一個龐大的系統(tǒng)工程，建立和發(fā)展數(shù)字圖書館必須首先進行先進、可靠的工程設計。當數(shù)字圖書館建設進入實質(zhì)性的設計方案選定和具體實施、執(zhí)行階段后，為了確保工程質(zhì)量，必須進行及時、可信的中前期系統(tǒng)評估和用戶評估。當數(shù)字圖書館建成或基本建成以后，仍然需要進行全面的后期評估。只有在數(shù)字圖書館建設的每個階段都進行了有效的評估，才能最終保證工程建設的質(zhì)量和水平。國內(nèi)外的實踐與研究表明，數(shù)字知識管理系統(tǒng)的工程設計和評估研究同樣重要[1-2]。本文著重對數(shù)字圖書館評估研究的基本問題、一般方法、主要內(nèi)容和數(shù)據(jù)收集等方面進行了探討。
1 數(shù)字圖書館評估的基本問題
傳統(tǒng)圖書館和現(xiàn)代信息檢索系統(tǒng)、人-機交互系統(tǒng)、知識管理系統(tǒng)、知識倉庫相比，數(shù)字圖書館的組成要素和結構與后一類的相同性更為明顯，因為數(shù)字圖書館是一個大量應用現(xiàn)代計算機技術、網(wǎng)絡通訊技術、多媒體數(shù)字技術的復雜人-機資源系統(tǒng)。數(shù)字圖書館評估不同于傳統(tǒng)圖書館（包括自動化圖書館）評估，它以數(shù)字圖書館的定義、要素、結構為基礎，對其主要指標、內(nèi)容按照一定的方法從功能性和可用性角度進行全面地評價研究。Saracevic在《數(shù)字圖書館評估：關于概念的發(fā)展》一文中認為，評估應該滿足某種要求，包括以下最基本的相關選擇和決策[3]：
�。�1）評估體系的構建。即評估什么？數(shù)字圖書館的實際含義是什么？它包含的內(nèi)容是什么？評估內(nèi)容包含什么元素（成分、部分、程序）？
�。�2）評估標準的選擇。即評估的目標、框架、觀點和標準的選擇。評估的標準是什么？選擇評估標準的關鍵是什么？最后，選擇某個標準有什么目的？
（3）相應的選擇目標所反映的性能標準。即性能參數(shù)集中在哪一點？評估有什么尺度或特征？
（4）測度反映記錄性能的選擇標準。即使用假定標準專門測度什么？
�。�5）實際評估的方法。即用于測度的工具是什么？樣本是什么？數(shù)據(jù)的收集使用什么程序？怎樣分析數(shù)據(jù)？
只要我們對上述每一點都給予關注，我們就可以進一步開展數(shù)字圖書館的評估。遺憾的是，數(shù)字圖書館評估的這些基本問題，國內(nèi)圖書館界至今沒有進行過研究和實踐。經(jīng)過近10年的發(fā)展，國外數(shù)字圖書館的評估理論體系已經(jīng)初具雛形，值得我們借鑒參考。
國外學者根據(jù)評估的規(guī)范性、約束性及其深度和廣度，一般將數(shù)字圖書館評估分為正式評估（Formal Evaluation）和非正式評估（Informal Evaluation）。正式評估復雜、可靠，但卻耗費太多人力、財力，讓人望而生畏。非正式評估簡單、有效但卻容易使評估迷失方向，使人們產(chǎn)生數(shù)字圖書館認識的某些錯誤感覺和期望。為了數(shù)字圖書館的更好發(fā)展，必須根據(jù)數(shù)字圖書館建設的各個時期，選擇其中一種或兩者結合起來使用。
根據(jù)評估采用的方法不同，數(shù)字圖書館評估主要有系統(tǒng)評估（System Evaluation）和用戶評估（User Evaluation）。目前，國外大多數(shù)數(shù)字圖書館工程主要采用用戶評估，或?qū)⑦@兩種評估方法同時并用但以用戶評估為主的雙重評估。此外，在數(shù)字圖書館的評估研究中還廣泛采用其它一些方法，如：社會學方法（Sociological Approach）、經(jīng)濟學方法（Economic Ap proach）、政治學方法（Political pproach）、民族地理方法（Ethnographic Approach），但這些方法不是數(shù)字圖書館評估的主要方法。
除此之外，一些研究人員還專門進行了比較評估（Comparing Evaluation）和跨館服務質(zhì)量評估工具研究。[4-5]根據(jù)數(shù)字圖書館工程設計、實施、執(zhí)行和驗收的各個階段，還可以分為前期評估、中期評估和后期評估。所有這些研究，對于數(shù)字圖書館評估理論的發(fā)展，指導數(shù)字圖書館建設實踐，都有十分重要的意義。
2 數(shù)字圖書館評估的一般方法
盡管數(shù)字圖書館評估的方法有各種各樣，但始終不能偏離系統(tǒng)和用戶這兩個一般性范疇。因為數(shù)字圖書館系統(tǒng)功能的實現(xiàn)和用戶使用的滿意程度，已經(jīng)能夠代表對數(shù)字圖書館評估的主流。數(shù)字圖書館是在傳統(tǒng)圖書館基礎上發(fā)展起來的復雜人—機系統(tǒng)，系統(tǒng)和用戶是數(shù)字圖書館的兩個最根本的構成要素。國外數(shù)字圖書館的評估研究，從方法角度看主要也集中在系統(tǒng)評估和用戶評估這兩個方面。只不過有的研究專門使用其中的一種，有的將這兩種結合起來使用。
系統(tǒng)評估是設計人員或其相關技術人員根據(jù)數(shù)字圖書館工程中的設計目標方案、軟硬件技術和規(guī)范標準對其功能進行的評估。其目的是檢查（驗）系統(tǒng)設計目標是否完成，硬件是否符合工程需要，軟件性能怎樣，以及系統(tǒng)的技術標準化程度。由于系統(tǒng)評估是一項專業(yè)性很強的功能評估，一般只能由從事數(shù)字圖書館工程設計、實施、執(zhí)行和管理方面的專業(yè)人員來完成。此外，由于技術壟斷需要，其系統(tǒng)核心設計技術的評估，一般不允許機構外的人員參加。
2002年11月，《數(shù)字圖書館雜志》發(fā)表了一篇題為《數(shù)字圖書館的交互性設計與評估》的文章，比較全面的反映了數(shù)字圖書館的系統(tǒng)評估研究[1]。作者以美國科學基金會（NSF）資助的一個GORW交互式數(shù)字圖書館工程作為研究對象，對GORW數(shù)字圖書館的開發(fā)目標（包括跨學科藏書、終身學習者資源、時鐘循環(huán)訪問、交互式學習目標和用于學習的信息），交互性及其GROW概念框架（包括互惠、反饋、直接、關聯(lián)、同步、選擇、沉浸、演示、流動、多維性和控制），GORW的各種交互性（包括GROW資源的交互性、GORW資源選擇的交互性、GROW元數(shù)據(jù)的交互性描述、GROW界面的交互性）都進行了研究和評估，從這項評估研究中我們看到，一個有效的交互式數(shù)字圖書館本身是一個復雜的人—機系統(tǒng)，其交互性技術要求涉及到各種社會的行為、組織、管理聯(lián)系�？梢姡诤芏嗲闆r下，數(shù)字圖書館的系統(tǒng)評估不能回答技術之外的各種社會問題。然而，用戶評估在很大程度上可以彌補系統(tǒng)評估的這種不足。
用戶評估是系統(tǒng)設計者或用戶根據(jù)數(shù)字圖書館的目標任務完成、行為模式和資源組織、發(fā)布對系統(tǒng)可用性進行的評估。其目的是檢查（驗）數(shù)字圖書館完成了哪些數(shù)字化任務，滿足了用戶的何種行為模式，以及知識信息資源的收集、再現(xiàn)、挖掘、組織、存儲、管理和發(fā)布效果。任何一項數(shù)字圖書館工程建設都必須開展反
復多次的用戶評估，才能使數(shù)字圖書館建設滿足用戶的需要，因此它目前已成為探討和實行數(shù)字圖書館評估的一種流行方式。當然，由于參加評估的用戶在構成、組織形式上的不同，可用性評估結果及其權威性也完全不一樣。
早在1989年，美國一個由101個會員組成的研究圖書館協(xié)會和51個州圖書館參加的咨詢調(diào)查——“數(shù)字圖書館用戶”（前期評估），幫助發(fā)起了具有歷史意義的“美國回憶”（American Memory）數(shù)字圖書館試驗計劃（1990-1995）。1992-1993年，美國國會圖書館又組織完成了有44個學院、大學和公共圖書館參加的終端用戶評估（后期評估），最終促成了現(xiàn)在仍在實施的“數(shù)字圖書館倡議”（DLI-1，1994-1998；DLI-2，1999-2003）[6]。1996年，VanHouse等人發(fā)表文章闡述了加州大學伯克利數(shù)字圖書館工程以用戶為中心的設計方法。他們在對用戶的各種需求進行反復評價、評估過程中，不斷改進設計。2002年4月至6月，美國科學基金會（NSF）資助的國家科學數(shù)字圖書館（NSDL）用戶評估工作組，花了整整3個月時間進行反復評估研究[7]。該工作組由那些對數(shù)字圖書館設計和評估感興趣的志愿者組成，其任務就是從用戶角度提出和回答各種問題。
綜合采用兩種方法但以用戶評估為主進行數(shù)字圖書館評估的典型例子是美國科學基金會（NSF）資助的亞歷山大數(shù)字圖書館（ADL）工程評估[8]。ADL評估組既進行系統(tǒng)設計，又進行用戶評估。評估組的工作重點在用戶使用，為此他們先后開發(fā)了3個不同的用戶界面，并建立了相應的試驗臺進行用戶評估。在系統(tǒng)評估層面上，一方面對系統(tǒng)和界面設計進行了大量中間發(fā)布，由包括加州大學、科羅拉多州大學研究人員在內(nèi)的評估工作組進行評估，不斷的將當前的Java基礎界面和支持系統(tǒng)反饋給系統(tǒng)設計者；另一方面，他們又對設計、實施階段進行了交互評估。這樣，用戶的功能性要求和實施修改設計的過程變成一個公式化的評估周期，不斷的指導系統(tǒng)評估，了解用戶的潛在使用。在用戶評估層面上，ADL評估組一方面使用ADL用戶和潛在用戶反饋、懇求和分析的多種方法，包括聯(lián)機調(diào)查、圖形觀察、目標用戶組、界面設計內(nèi)部評估、大學教室ADL使用分析，進行全面評估；另一方面，他們邀請外部用戶評估專家，召開了3個與用戶評估有關的會議，然后綜合他們的評估意見和要求進行系統(tǒng)設計。ADL用戶評估組提出的結果非常有用，它涉及下述相關問題：
（1）對于我們的用戶，我們了解多少？
�。�2）對于評估和用戶研究方法，我們了解什么？
�。�3）對ADL界面，我們了解哪些方面的內(nèi)容？
（4）對于ADL的功能性和內(nèi)容，我們了解什么？
這些問題看似簡單，實際上卻涉及到數(shù)字圖書館建設中的幾個核心問題。
3 數(shù)字圖書館評估的主要內(nèi)容
人們對數(shù)字圖書館的認識和定義有各種各樣，因此對數(shù)字圖書館評估內(nèi)容的認識和界定也各不相同。Saracevic將數(shù)字圖書館評估的結構或元素劃分為21個大類50個小項[3]；周欣平提出一個數(shù)字圖書館評估的體系，包括館藏資源的數(shù)量和質(zhì)量、網(wǎng)絡及數(shù)字化程度、多元化的信息管理和服務、全球范圍內(nèi)信息資源的獲取和利用、提供遠距離學習和教育之環(huán)境、館員素質(zhì)6個方面[9]；Hill等人則將數(shù)字圖書館評估的主要內(nèi)容劃分為館藏、元數(shù)據(jù)、搜索、檢索和用戶工作空間、幫助支持、系統(tǒng)支持、子系統(tǒng)7大類38個小項[8]。
盡管人們對數(shù)字圖書館評估的內(nèi)容有不同的認識和界定，但對其主要內(nèi)容或基本內(nèi)容的認識和界定應該是大致相同的。只是由于評估者評估的目標、對象、范圍不同，評估的內(nèi)容才會有所不同。例如，對于以改進系統(tǒng)設計為目標的評估者來說，他可能更偏重技術方面的系統(tǒng)評估；對于一個以地理圖像或多媒體為主要館藏對象的數(shù)字圖書館來說，評估者可能更偏重于資源易用性的用戶評估。相對而言，一個以交互式學習、研究為目標的大學圖書館和一個以面向大眾平等獲取數(shù)字資源為目標的公共圖書館，評估者選擇的評估內(nèi)容肯定各有側重[10-12]。一般地講，目前數(shù)字圖書館主要從以下幾個方面進行評估。
（1）技術性能與水平評估，主要內(nèi)容有：數(shù)字圖書館系統(tǒng)的功能結構及其完善程度；數(shù)據(jù)安全、共享的實現(xiàn)形式；分布式異構數(shù)據(jù)庫的互操作性；海量多媒體數(shù)字信息的生成、存儲技術及其網(wǎng)絡傳播、檢索的無障礙性；人—機交互式學習、研究技術及其實時、同步控制程度。
（2）數(shù)字資源量評估。主要內(nèi)容有：本館數(shù)字化資源總量；外購數(shù)字化資源總量；數(shù)字資源的完整性、系統(tǒng)性、及時性和連續(xù)性；數(shù)字資源的加工質(zhì)量（分辨率、壓縮比等）。數(shù)字圖書館的數(shù)字資源量目前按TB（10[12]，萬億）計算。
�。�3）易用性評估。主要內(nèi)容有：分類、標引、索引和檢索手段的完備性；多種資源格式的轉換、統(tǒng)一與知識挖掘性能；跨網(wǎng)、跨庫、跨系統(tǒng)、跨平臺、跨語言的操作與檢索應用；界面的友好程度；檢索、瀏覽、下載數(shù)字信息資源的效率與時間。
�。�4）數(shù)字化服務評估。主要內(nèi)容有：在線數(shù)字信息資源服務；網(wǎng)上實時搜集、傳遞、推送、發(fā)布服務；專門化、個性化服務；數(shù)字圖書館館員素質(zhì)；用戶反饋意見（時間、錯誤率、用戶個人滿意度、用戶組綜合意見）。
（5）數(shù)字化管理評估。主要內(nèi)容有：數(shù)字化管理的觀念、方法、制度；數(shù)字化圖書館設計、實施、執(zhí)行、發(fā)展的過程管理與日志管理；數(shù)字化圖書館的要素、結構、功能的全面管理；管理的規(guī)范化與國際、國家標準化程度。
數(shù)字圖書館的評估內(nèi)容不是一成不變的，它允許評估者有自己的選擇。例如，有的研究者就把經(jīng)濟、社會因素作為一項重要的評估內(nèi)容。在他們看來，評估的最終問題是，數(shù)字圖書館怎樣改變?nèi)藗兊难芯�、教育、學習和生活。更重要的是，這些內(nèi)容的評估本身需要一套完備的標準，而這些內(nèi)容與標準的確立會因人、因地、因時的不同而不同。
4 數(shù)字圖書館評估的數(shù)據(jù)收集方式
確定數(shù)字圖書館評估的方法、內(nèi)容體系是取得評估成功的關鍵，但其前提是獲得真實、全面的評估數(shù)據(jù)。因此，數(shù)字圖書館評估的數(shù)據(jù)收集與分析的重要性不容忽視。當然，就數(shù)字圖書館評估而言，數(shù)字圖書館的測度、統(tǒng)計數(shù)據(jù)收集與測度規(guī)范并不是評估本身，不屬于評估范疇，因為數(shù)據(jù)本身只是一種定性或定量的描述和觀察。判定用戶需要本身也不是評估，然而這些與評估相關，它們聯(lián)系到某些特定性能，包括前述Saracevic提出的5個要求。正確的認識、區(qū)分這些差別，可以使我們更深入地了解數(shù)字圖書館評估的實質(zhì)問題。
數(shù)字圖書館評估的數(shù)據(jù)收集有許多方式，并且往往是多種方式并用。但目前使用最廣泛的主要有以下幾種方式：
（1）用戶問卷表。它可以根據(jù)評估者的需要設計問卷表，獲得各種有用的定性、定量數(shù)據(jù)，是數(shù)字圖書館評估研究最流行的收集數(shù)據(jù)方式。目前，許多研究者采用微軟Active Server Pages開發(fā)在線調(diào)查系統(tǒng)，進行網(wǎng)上實時收集數(shù)據(jù)。
�。�2）數(shù)字圖書館日志。利用數(shù)字圖書館系統(tǒng)的用戶登錄、處理文件記錄、檢索登記、下載監(jiān)測等功能或記錄，自動收集評估數(shù)據(jù)。但是，這種方法僅限于自主開
發(fā)的數(shù)字圖書館。商業(yè)性數(shù)字圖書館要么缺乏這些功能或記錄，要么不向用戶提供或者限制提供這些功能或記錄。
�。�3）用戶評估組。成立專門的用戶評估組，成員可由設計、評估專家、用戶組成，也可單獨由對評估感興趣的用戶志愿者組成。它可以根據(jù)數(shù)字圖書館工程建設的不同階段，反復收集相應的評估數(shù)據(jù)。
此外，還有電話訪問、個人訪問、電子公告板（BBS）、專題討論、學術會議等方式收集評估數(shù)據(jù)。但是，這些方式相對上述三種方式而言，數(shù)據(jù)收集的廣度、深度及其數(shù)據(jù)的質(zhì)量都要差一些，單獨使用難以進行準確、全面的評估。
5 結論
數(shù)字圖書館的評估研究對數(shù)字圖書館的發(fā)展起著不可低估的作用。隨著數(shù)字圖書館評估理論的發(fā)展，人們對評估重要性認識的提高，特別是各國評估實踐的日益增加，評估研究在數(shù)字圖書館建設與發(fā)展中的重要作用將會更加突出的顯現(xiàn)出來。通過開展各種有效的數(shù)字圖書館評估研究，進一步完善數(shù)字圖書館評估的方法、內(nèi)容體系，制定更符合時代發(fā)展需要的科學評估標準，對于促進各國數(shù)字圖書館技術和管理水平的提高，推動數(shù)字時代圖書館學理論與實踐的發(fā)展，有著十分重要的意義。未來的數(shù)字圖書館評估研究，將會朝著跨系統(tǒng)、跨館、跨國大型綜合性評估、符合國際和國家標準的規(guī)范性工具評估、核心技術專門評估、館藏資源評估、系統(tǒng)功能評估、用戶多因素綜合評估、評估標準的科學化和質(zhì)量指標的精確化評估等方面進一步探討和完善。
【參考文獻】
1 Budhu， M. and Coleman， A. The Design and Evaluation of Interactivities in a Digital Library. [J] D - Lib Magazine， 2002， Vol.8，No. 11
2 Wei， Chih - Ping. And Hu， P. Design and Evaluation of a Knowledge Management System. [J] IEEE Software， May/ June 2002， 57 - 59
3 Saracevie， T. Digital Library Evaluation： Toward an Evolution of Concepts. [J] Library Trends， 2000， Vol.49. No.2， 350 - 369
4 Jones， M. Comparing Evaluations of Digital Collection Efforts. [J] D-Lib Magazine， 1999， Vol.5.No. 11
5 Blixrud， J. Evaluating Library Service Quality： Use of LibQUAL[+TM]. ttp：//www. libqual， org
6 National Digital Library Program. http：//lcweb2. loc. gov/am- mem/dli2/html/lcndlp. html
7 Jones， C. and Sumner， T. Evaluation of the National Science Digital Library. http：//www.uclic.ucl.ac.uk/
8 Hill， L. Alexandria Digital Library：User Evaluation Studies and System Design. [J] Journal of the American Society for Information S
cience， 2000， Vol. 51， No. 3，246 - 259
9 周欣平.數(shù)字時代圖書館的發(fā)展方向及評估標準.[J]圖書情報工作，2001，（4），5-9
10 Leazer G.， and others. Evaluating the Use of a Geographic Digital Library in Undergraduate Classrooms： ADEPT. http：//is.gseis. ucla.edu/adept/pubs/short.pdf
11 Zwan， R.， and others. An Evaluation of the Informedia Digi tal Video Library System at the Open University.[J] Journal of Educational Media， 1999， Vol.24， No.2，131 - 136
12 Bishop， A.， and Bruce， B. Digital Library Evaluation as Participative Inquiry http ：//alexia. lis. uiuc. edu/～chip/ pubs/02delos. pdf
【數(shù)字圖書館的評估研究】相關文章：
基于PDCA的數(shù)字圖書館質(zhì)量管理研究08-05
數(shù)字圖書館館藏評價08-05
如何評估市場研究公司08-06
如何評估市場研究公司08-06
關于品牌資產(chǎn)評估的研究08-08
關于數(shù)字圖書館版權保護研究若干重要問題的思考08-05
數(shù)字圖書館建設的探索與認識08-05
IDC與數(shù)字圖書館建設論文05-31