英國科研評價模式：由專業(yè)評價人員進行評價

　　所謂“英國模式”，指的是由專業(yè)評價人員實施評價工作，即在評價政府科研資助政策以及研究與發(fā)展的實施情況、產(chǎn)生的成果和影響時，評價發(fā)起者只參與評價方案設(shè)計工作，具體評價業(yè)務(wù)，包括綜合評價結(jié)論和建議等等，一般完全委托給專業(yè)評價人員。專業(yè)評價人員通常具有很深的資歷、豐富的評價經(jīng)驗、一絲不茍的學(xué)術(shù)態(tài)度，他們提供的結(jié)論通常能獲得行政部門和學(xué)術(shù)界的認(rèn)可，在政府制定政策過程中發(fā)揮了重要作用。
　　英國的專業(yè)評價人員指的是：(1)政府部門內(nèi)部的評價小組；(2)科學(xué)政策研究機構(gòu)，例如PREST和SPRU中的有關(guān)人員[2]（注：PREST：英國Manchester大學(xué)的工程、科學(xué)與技術(shù)政策研究所；SPRU：英國Sussex大學(xué)的科學(xué)政策研究中心。它們都是世界知名的科技政策研究機構(gòu)。），它們除開展評價理論與方法論研究之外，還從事實際評價工作；(3)一些專門為公共部門服務(wù)的私人咨詢公司。需要指出的是，參與評價的私人咨詢公司的數(shù)量非常有限，其原因在于科研評價工作不僅是一項知識性很強的活動，需要各方面的知識投入，而且需要保持絕對中立，深受評價發(fā)起者和被評價方的信賴。這兩個因素阻礙了私人咨詢機構(gòu)大量進入評價領(lǐng)域。
　　　　一、英國開展評價工作的政策背景
　　英國政府重視科研評價工作的主要原因在于：(1)政府削減了研究投入；(2)財政部(Treasury)和內(nèi)閣辦公室(Cabinet  Office)要求所有公共管理領(lǐng)域證明公共資金的價值和交賬(accountability)；(3)政府科研資助部門必須對前景光明的新興科技領(lǐng)域作出迅速反應(yīng)；(4)政府比以往更強調(diào)科學(xué)的實用性、技術(shù)轉(zhuǎn)移和交叉學(xué)科研究，并為此嘗試?yán)�用新模式組織科學(xué)研究，諸如資助機構(gòu)聯(lián)合啟動研究計劃、支持產(chǎn)學(xué)合作研究和參與國際合作研究計劃，因此需要把評價納入政策制定過程，通過評價來闡明復(fù)雜、疑難問題，例如不同資助模式的恰當(dāng)程度、資助產(chǎn)生的經(jīng)濟效益。面對上述4個方面的壓力，許多政府科研管理部門和機構(gòu)建立了內(nèi)部評估小組，小組一般由2～10名全時的工作人員組成，本文將他們稱之為內(nèi)部專業(yè)評價人員。小組在一位負(fù)有政策制定職責(zé)的高級公務(wù)員領(lǐng)導(dǎo)下開展工作，這樣做有利于把科研評價與政策制定結(jié)合起來。
　　盡管政府R  &  D管理部門面臨相同的壓力，但是它們并沒有采用統(tǒng)一的評價框架，而是根據(jù)各自的需求和特征組織自己的評價工作[3]（注：CABINET  OFFICE,《Annual  review  of  Government  Funded  Research  and  Development》,HMSO,London,
1990）。在這種情況下，1986年內(nèi)閣辦公室成立了組織協(xié)調(diào)各部門評價工作的評估辦公室[4]（注：目前，由于各個部門充分認(rèn)識到了評價工作的重要性，不再需要一個專門機構(gòu)推動此項工作，因而取消了該辦公室。）。評估辦公室既不從事實際評價工作，也不規(guī)定應(yīng)該如何開展評價工作，僅僅制定了一份用戶友好的評價指南，用于促進內(nèi)部評價專家之間的思想交流，傳播政府評價工作理念[5]（注：CABINET  OFFICE,《Research  and  Development  Assessment:a  Guide  for  Custorners  and  Managers  of  R 
 &  D》,HMSO,London,1989）。
　　評估辦公室認(rèn)為科研評價工作應(yīng)該為科研管理與決策提供信息，是政策制定過程中不可缺少的組成部分。這就要求內(nèi)部評價小組不僅要組織評價工作，還要研究、構(gòu)建科研績效、影響和投入等定量指標(biāo)。例如，研究理事會的內(nèi)部評價小組特別重視參與研究績效指標(biāo)的擬訂和內(nèi)部管理信息的采集與利用，將它們應(yīng)用于研究計劃的制定、預(yù)算分配、研究管理以及事后評價工作。再如，貿(mào)工部(DTI)的評價辦公室不僅僅采集和綜合定量指標(biāo)，而且更強調(diào)主動參與R  &  D計劃的制定及其詳細(xì)評價。
　　　　二、內(nèi)部評價小組在科研評價與管理中的作用
　　　　1.在應(yīng)用研究的評價與管理中的作用
　　1980年，DTI在其研究與技術(shù)政策司成立了研究與技術(shù)評估小組，主要從事應(yīng)用研究項目的評價。1984年，評估活動延伸到科研政策制定和實施的全過程，即從制定研究計劃到監(jiān)控、評價研究計劃實施情況與產(chǎn)生的影響。目前，由于DTI不再支持與市場聯(lián)系緊密的活動，而是直接支持競爭前研究、支持大學(xué)與工業(yè)界的合作和技術(shù)轉(zhuǎn)移以及國際合作計劃，使DTI必須改進其研究資助計劃與管理系統(tǒng)，評估新的資助模式產(chǎn)生的影響，為相關(guān)問題提供政策建議。為此，DTI制定了ROAME文件，以它為框架開展管理與評價工作[6]（注：L.Georghiou  &  E.Davis(eds),Evaluation  of  R  &  D-A  Policymaker's  Perspective,Proceedings  of  the  International  Workshop  on  Assessment
  and  Evaluation,HMSO,London,1988）。ROAME由計劃中各個要素的首字母構(gòu)成：基本理由(Rationale)、目標(biāo)(Objectives)、鑒定(Appraisal)、監(jiān)控(Monitoring)和評價(Evaluation)。它是提交研究計劃申請和評價受資助計劃的標(biāo)準(zhǔn)格式，既有利于申請人從上述5個方面考慮如何提出申請計劃，亦有利于評價人員對照這5個方面的內(nèi)容評價計劃實施情況。
　　(1)理由部分必須闡明需要政府資助的原因，其中主要是經(jīng)濟方面的原因，即如果沒有政府介入工業(yè)界將不會開展此項研究。
　　(2)目標(biāo)包括投入目標(biāo)和技術(shù)目標(biāo)，它們最好可以測度，同時還要列出難以量化和測度的目標(biāo)，諸如計劃可望產(chǎn)生的社會效益與經(jīng)濟效益。這樣做有利于在計劃執(zhí)行期間或計劃完成以后參照目標(biāo)衡量計劃執(zhí)行的成功程度。
　　(3)鑒定部分要詳細(xì)說明單個項目組成計劃的方式，列出計劃涵蓋的技術(shù)領(lǐng)域、遴選項目的標(biāo)準(zhǔn)和機制。
　　

(4)監(jiān)控指檢查受資助計劃的進展所采用的系統(tǒng)和程序。必須追蹤單個項目和整個計劃的管理情況，如果出現(xiàn)了問題，或者計劃的目標(biāo)不恰當(dāng)，都可以迅速作出調(diào)整。
　　(5)評價部分不必列出詳細(xì)評價計劃，只需要針對相關(guān)政策信息的需求，擬訂出開展評價工作的框架，并說明通過評價可以明確解決的問題。
　　從DIT評價工作的實踐來看，ROAME至少發(fā)揮了以下幾方面的作用：(1)為DTI的評估專家提供了一種評價思想；(2)通過監(jiān)控和事后評價活動，把有關(guān)信息反饋給管理人員，可以提高他們識別、理解問題的水平，從而促進了“不斷學(xué)習(xí)和提高”這樣一種文化氛圍的形成；(3)按ROAME格式書寫的記錄，是評估小組獲取管理信息資源的一種重要渠道，這些信息既可以用于DTI制定科研資助政策，也可以用于設(shè)計評價方案；(4)對事后評價工作而言，可以對照當(dāng)初實施計劃的理由和計劃擬定的目標(biāo)來考察計劃實施情況。
　　　　2.在基礎(chǔ)研究評價與管理中的作用
　　農(nóng)業(yè)與食品研究理事會(AFRC)、自然環(huán)境研究理事會(NERC)率先在內(nèi)部成立了評價小組，由負(fù)有政策制定職責(zé)的官員監(jiān)督小組的評價工作，還指令一名高級官員負(fù)責(zé)把評價與資助機構(gòu)的其他活動整合起來。這種線性管理結(jié)構(gòu)有助于確保評價獲得理事會高層的認(rèn)可。
　　為了實時監(jiān)控和評價資助項目，內(nèi)部評價小組制定了績效指標(biāo)，建立了相關(guān)數(shù)據(jù)庫。例如，AFRC于1972年率先建立了項目管理數(shù)據(jù)庫。目前，該數(shù)據(jù)庫除了收錄經(jīng)費與人員投入、研究計劃的構(gòu)成等數(shù)據(jù)項之外，還包括定性和定量研究績效指標(biāo)，其中定性指標(biāo)來源于項目立項時對項目和人員的評價，定量指標(biāo)是出版物和引用情況。評價小組要定期向AFRC的有關(guān)管理部門通告這些數(shù)據(jù)，使它們能充分利用這些信息支持同行專家對AFRC的資助工作及所屬研究機構(gòu)進行評價。同樣，NERC的內(nèi)部評估小組要提供財務(wù)和管理信息，開展一系列文獻計量研究，參照當(dāng)初設(shè)定的目標(biāo)分析科學(xué)家和研究機構(gòu)的產(chǎn)出。分析研究結(jié)果也用于支持同行專家的評價工作。
　　科學(xué)與工程研究理事會(SERC)的做法與上述兩個研究理事會不同：沒有自己的研究投入和績效指標(biāo)數(shù)據(jù)庫；重視研究計劃的評價，而不是項目評價；傾向于雇傭外部專家深入分析定性問題，而不是單純依靠內(nèi)部小組支持的同行評議[7]（注：SERC肩負(fù)與其他部門共同資助英國的戰(zhàn)略研究、聯(lián)合資助產(chǎn)學(xué)合作計劃、資助英國參與國際科學(xué)合作。很明顯，評價這些資助工作非常復(fù)雜，不能單純依靠同行評議方法。）。但是，目前SERC正同教育與科學(xué)部以及其它研究理事會合作建立一套測度產(chǎn)出的方法和指標(biāo)，使之適用于整個科學(xué)（不包括國防科學(xué)）的評價。此外，SERC還肩負(fù)培養(yǎng)科學(xué)家的重任，因而需要記錄博士學(xué)位論文和博士后論文這類數(shù)據(jù)，用于評價人才培養(yǎng)活動的實施情況。
　　由于內(nèi)部評估小組不僅積極主動地在理事會內(nèi)部，而且還向廣大共同體交流自己的工作，因此，它們提供的定量指標(biāo)獲得了廣泛的認(rèn)同。通過把特定評價業(yè)務(wù)、評價支持研究和對理事會工作人員進行定量評價方法的培訓(xùn)工作委托給從事科研評價理論研究的學(xué)術(shù)組織，評估小組與評價理論研究專家形成了密切的相互作用。這樣，政策制定部門可以迅速了解、掌握評價方面的專門知識，在實際應(yīng)用時按照每個組織的需求狀況進一步發(fā)展和完善這些知識。各個研究理事會還精選了部分獲資助的研究人員、同行評議專家和視察小組(visiting  group)成員參與開發(fā)定量指標(biāo)，例如向他們咨詢衡量成功的標(biāo)準(zhǔn)和指標(biāo)，確保任何新穎的方法都可以成為強有力的評價證據(jù)。盡管如此，內(nèi)部評估小組提供的研究投入和績效指標(biāo)信息是在研究理事會內(nèi)部發(fā)掘的，它們只可能適應(yīng)于某類研究，因此，需要把它們整合到利用同行評議方式進行的評價活動中。
　　總之，在英國基礎(chǔ)研究資助機構(gòu)中，內(nèi)部專家對評價工作和政策制定工作起支持作用，它們是英國專業(yè)科研評價隊伍中不可缺少的組成部分。盡管同行評議仍是評估基礎(chǔ)研究最令人滿意的方式，不可能被內(nèi)部專家評價方式替代，但可以肯定的是，評價小組能提供極有價值的政策信息，能為同行評議過程提供許多證據(jù)。
　　　　三、利用外部專業(yè)評價人員的方式
　　　　1.實時評價大型R  &  D計劃
　　英國科技管理部門認(rèn)為，外部評價人員的評價比內(nèi)部評價人員的評價更深入，更具有可靠性和公正性，因此，大型R  &  D計劃的評價一般都委托給外部評價人員。例如，英國國家信息技術(shù)計劃[8]（注：該計劃由3個政府機構(gòu)共同資助（DTI、國防部和SERC），涉及公司之間在競爭前的合作和公司與大學(xué)的合作。）（Alvey計劃）的實時評價就是由外部評價人員完成的。
　　在開始實施Alvey計劃時，DTI決定在計劃運行過程中要開展實時評價，通過把評價結(jié)論立即反饋到計劃運行過程中，提前發(fā)現(xiàn)問題并作出糾正。Alvey計劃的實時評價包括兩個部分：由SPRU評價計劃的適宜性和影響，由PREST評價計劃的結(jié)構(gòu)和組織。這兩個機構(gòu)的科技政策理論研究人員要把評價過程中開發(fā)的專業(yè)評價知識傳授給DTI的評估小組和參與評價工作的DTI經(jīng)濟學(xué)家，使他們掌握最新評價專業(yè)知識和經(jīng)驗。
　　　　2.制定評價手冊
　　利用外部專業(yè)評價人員制定評價手冊是一種一次性使用外部專家的方式，它不同于DTI和一些研究理事會采取的內(nèi)部與外部評價專家之間需要長期維持聯(lián)系的方式。
　　英國健康和安全執(zhí)行部門(HSE)就采用這種評價方式。通過委托評價理論研究人員起草詳細(xì)的評價手冊，指導(dǎo)內(nèi)部評價人員對研究活動進行事后評價[9]（注：PREST,Protocol  for  the  Evaluation  of  HSE  Research,Manchester,1988）。評價理論研究人員在起草評價手冊時，不僅要充分反映HSE的研究人員、研究計劃制定人員以及研究成果用戶（包括HSE的其他部門、外部研究人員和工業(yè)界）的意見，而且還要提供評價案例，供內(nèi)部評價人員參考。由于在起草評價手冊時調(diào)查了受評價活動影響者的意見，HSE的評價工作也獲得了很高的可信度。
　　　　3.外部專業(yè)評價人員和同行小組相結(jié)合的評價模式
　　經(jīng)濟和社會科學(xué)研究理事會(ESRC)采用外部專業(yè)評價人員和同行小組相結(jié)合的評價模式，對它管理的研究計劃、研究中心和培訓(xùn)計劃做非常詳細(xì)的定性評價。其中，專業(yè)評價人員發(fā)揮兩方面的作用：采集研究績效方面的定量數(shù)據(jù)，指導(dǎo)評價。例如，ESRC在評價地方研究實驗室時，專業(yè)評價人員要與實驗室的管理者共同商定評價的范圍，然后向同行評議小組提供詳細(xì)的評價證據(jù)。這些證據(jù)不僅僅涉及研究質(zhì)量，還包含管理問題、相關(guān)性和影響。評價座談會、同行小組可根據(jù)這些證據(jù)作出判斷。從表面上看，這種評價模式和歐共體的小組評價模式之間沒有明顯差別，但是，這種評價模式中的評價專家在確定評價內(nèi)容和評價實施方面比歐共體評價模式中的評價人員有更多的控制權(quán)。
　　　　四、結(jié)論
　　1.充分發(fā)揮內(nèi)部評

估組織和外部評價專家的作用，使兩者相互密切配合，對科研評價工作非常重要
　　內(nèi)部評價專家的產(chǎn)生和發(fā)展來源于政府行政管理工作的需要，他們一般有制定研究計劃、管理研究、為同行評議提供支持以及委托和實施評價的職責(zé)。由于他們熟知自己部門的使命、了解評價的需求和目標(biāo)，因此在設(shè)計評價方案的過程中，他們的意見起了決定性作用。但是，評價是一項專業(yè)性和學(xué)術(shù)性極強的工作，不僅需要豐富的調(diào)查、分析和解決問題的能力，還要通曉管理學(xué)和經(jīng)濟學(xué)的有關(guān)專門知識、熟練掌握評價方法，而內(nèi)部評價人員不可能花大量時間充分掌握這些知識。可見，如果沒有外部評價專家為內(nèi)部評價專家提供專業(yè)培訓(xùn)和咨詢服務(wù)，政府機構(gòu)要建立評價職能是非常困難的。
　　2.以下幾個因素可能影響評價的可接受程度
　　(1)為評價活動提供有力的組織保障。資助機構(gòu)要有高級公務(wù)員負(fù)責(zé)評價活動，只有這樣評價活動才能受到高層的認(rèn)可，且不受任何要挾和脅迫。
　　(2)允許不同資助機構(gòu)對自己的評價活動進行安排。不同資助機構(gòu)都有自己特殊的評價需求，評價體系要反映這些需求。不能草率地對各個機構(gòu)的評價工作強加一些硬性要求，否則，評價體系將缺乏可操作性。
　　(3)把評價作為政府R  &  D資助與管理全過程的一部分。只有這樣，才能重視評價工作并對其做周密部署，使政策制定者從評價中獲得最大的利益。
　　(4)外部專家在學(xué)界的聲望深刻地影響評價公正性和評價結(jié)論的可信度。評估專家可能被指責(zé)為得出了在政治上有利的結(jié)論，以獲取更多政府委托評價任務(wù)；小組評價易受專家地位的影響，小組成員總是想要保護自己所屬專業(yè)領(lǐng)域的聲望；而聲望卓著的專家易于被信任。
　　(5)在評價時要廣泛咨詢廣大科學(xué)共同體。只有充分調(diào)查被評價團體及其同行、科研管理人員乃至研究成果用戶的意見，并且適時利用評價專業(yè)技能，科研人員才可能接受評價專業(yè)人員的結(jié)論。
　　3.評價方法的日益復(fù)雜化要求評價人員具備一定水準(zhǔn)的專業(yè)知識。內(nèi)部評價人員和外部評價人員相結(jié)合組成評價共同體，既有利于內(nèi)部評價人員迅速掌握最新的評價專業(yè)知識，又有利于外部評價人員發(fā)現(xiàn)政府機構(gòu)的需求和評價中存在的問題，從而開展研究、推動評價理論的進步。
　　4.盡管評價工作的倫理準(zhǔn)則至今還未見有機構(gòu)明確提出，但是要加以深入研究，以確保和維護評價工作應(yīng)有的獨立性和責(zé)任感。
【參考文獻】
　　[1]　在歐共體的小組評價方式中，小組成員一般由著名科學(xué)家和工業(yè)界的專家組成，成員的選擇依賴于評價背景和目標(biāo)。在整個評價工作過程中，科研管理部門的內(nèi)部專業(yè)評價人員要為小組提供有關(guān)背景信息、事實和證據(jù)，他們僅僅起輔助開展評價工作的作用，并不指導(dǎo)評價工作，也不影響評價的結(jié)論。
　　[2]　PREST：英國Manchester大學(xué)的工程、科學(xué)與技術(shù)政策研究所；SPRU：英國Sussex大學(xué)的科學(xué)政策研究中心。它們都是世界知名的科技政策研究機構(gòu)。
　　[3]　CABINET  OFFICE,《Annual  review  of  Government  Funded  Research  and  Development》,HMSO,London,1990
　　[4]　目前，由于各個部門充分認(rèn)識到了評價工作的重要性，不再需要一個專門機構(gòu)推動此項工作，因而取消了該辦公室。
　　[5]　CABINET  OFFICE,《Research  and  Development  Assessment:a  Guide  for  Custorners  and  Managers  of  
R  &  D》,HMSO,London,1989
　　[6]　L.Georghiou  &  E.Davis(eds),Evaluation  of  R  &  D-A  Policymaker's  Perspective,Proceedings  of  the  International  Workshop  on  Assessment
  and  Evaluation,HMSO,London,1988
　　[7]　SERC肩負(fù)與其他部門共同資助英國的戰(zhàn)略研究、聯(lián)合資助產(chǎn)學(xué)合作計劃、資助英國參與國際科學(xué)合作。很明顯，評價這些資助工作非常復(fù)雜，不能單純依靠同行評議方法。
　　[8]　該計劃由3個政府機構(gòu)共同資助（DTI、國防部和SERC），涉及公司之間在競爭前的合作和公司與大學(xué)的合作。
　　[9]　PREST,Protocol  for  the  Evaluation  of  HSE  Research,Manchester,1988

【英國科研評價模式：由專業(yè)評價人員進行評價】相關(guān)文章：

模式重構(gòu)與基本評價08-05

如何對學(xué)生進行評價08-14

備課評價模式的新思考08-13

積極評價機制的教學(xué)模式08-02

我是這樣進行班級管理評價的08-16

銷售人員自我評價08-17

銷售人員自我評價04-26

監(jiān)理人員自我評價08-16

保潔人員的簡歷自我評價08-06