大型科技计画绩效评估系统的建立4C钻石模型初探.docx
《大型科技计画绩效评估系统的建立4C钻石模型初探.docx》由会员分享，可在线阅读，更多相关《大型科技计画绩效评估系统的建立4C钻石模型初探.docx（25页珍藏版）》请在冰豆网上搜索。
大型科技计画绩效评估系统的建立4C钻石模型初探
大型科技計畫績效評估系統的建立:
4C鑽石模型初探
ThePerformanceEvaluationofLargeScaleS&TPrograms:
A4CsDiamondModelApproach
陳怡之1張元杰2陳明惠2李沿儒3
1元智大學/企業管理系（所）/副教授
2元智大學/企業管理系（所）/助理教授
3元智大學/管理所/博士生
摘要
近來，由於各國研發經費成長有限的情況下，政府所贊助的大型科技專案，其“經費是否花費在價值創造上”（value-for-money）的觀念，日漸被大眾所接受。
此外，政府所推動的大型科技計畫的成果，是否能增進國家的科技基礎與產業競爭力，亦需受到社會大眾的檢視。
因此，如何有效地對政府大型科技計畫進行評估，乃為目前科技政策的當務之急。
本研究提出了評估大型科技計畫之--4C鑽石模型，並運用此架構來分析美國尖端技術計畫與英國Alvey計畫，進而比較這兩項計畫在評估系統上的差異，以期對台灣大型科技計畫之評估系統建立提出建言，最後對未來的研究，提出初步的構想。
關鍵字：
大型科技計劃、績效評估系統、4C鑽石模型
1、前言
近來各國由於研發經費的減少，政府所贊助的大型科技專案，其“經費是否花在價值創造上”（value-for-money）的觀念，日漸被大眾所接受。
再者政府所推動的大型科技計畫的成果，是否能增進國家的科技基礎與產業競爭力，也需要進一步受到社會大眾的檢視。
因此，如何有效地對政府大型科技計畫進行評估，乃為目前科技政策的當務之急。
在1993年，美國國會制訂政府績效與成果法案（GovernmentPerformanceandResultsAct,GPRA），即強制立法以對於行政部門進行績效考核，目的在於藉此法案進行行政部門年度績效之評考作業，效果在於作為國會監督政府施政以提供建言之用。
該法案導致我國內三大管考單位（研考會、國科會和經濟部）在數十年評估作業外，受到更積極的監督。
此後國科會在1995年訂立政府科技計畫審議管考評估作業手冊；經濟部自1997年開始實施之經濟部科技專案績效考評作業要點與1998年科技專案執行機構績效考評作業；行政院研考會亦在2001年頒佈行政院所屬各機關施政績效評估要點。
這些內容雖然不盡然與GPRA相同，但的確使得行政機構在過去數十年來的所建立的考評制度外到更進一步之監督。
然而以科技專案來說，過去我們所熟悉的事前評審、期中查訪與期末驗收的作為，是否仍有不足之處？
以美國尖端技術計畫（AdvancedTechnologyProgram,ATP計畫來說，計畫的評估和考核不僅延續至計畫結束十年後，更包含計畫對社會面與經濟面之評估。
在實務上，科技發展計畫對國家經濟或社會的影響有一定時間的落差，但是國家技術與標準局（NationalInstituteofStandardsandTechnology,NIST）不僅以此成功管考其計畫，並清楚向國會展示其成果。
在國內政府財政吃緊與研發經費之成長有限情況下，眾多重點科技計畫競爭有限經費的同時，來自立法院的壓力不斷。
立法院不僅質疑科專過去的成效，同時也針對現有的專利、文獻發表等績效考核存疑。
以2002年台灣經濟研究院所執行的經濟部科技專案成果整合及績效管理計畫報告內容來看，其實際執行之內容項目為產業白皮書之編撰與科專績效考評管理，並針對創新競爭力與科技前瞻推動作業兩項議題進行研究。
在科專計畫的績效管理上似乎仍持續加強事前審查方向努力，依舊缺乏對過去科技專案在結案後5年、10年的影響評估。
立法院依舊質疑類似台積電之案例真能代表往後科技政策的成功嗎？
而這些公司在科技專案結束的當時似乎仍是嗷嗷待哺的企業。
在我國科技政策的評估議題上有諸多文獻報告，其中受GPRA法案的影響，受政府資助有關於科技專案評估或獨立的學術研究於1993年後陸續增加，例如杜文謙和王連常福（1993），吳壽山等人（1995），李文雄（1996），楊雅惠等人（1996），楊千（1998），袁建中（1999），王健全等人（2000），王健全（2001），林欣吾（2002）等。
然而，這些研究多半針對計畫前期之審查、例如有關於前瞻計畫、預算分配、期中與期末如何建立績效指標之議題，對於計畫結束後之影響評估闕如。
有鑑於此，本研究透過文獻與個案（美國ATP計畫與英國Alvey計畫）討論，針對以上疏失建立起鑽石4C模型研究之分析比較，最後並針對國內大型科技計劃之評估系統提出建言。
2、文獻探討
2.1科技評估的範疇
在進行科技評估之際，首先必須理解其計畫的動機與目的，因為科技評估的動機牽涉到專案補助的正當性（legitimacy）。
其次，必須考慮使用國家資源時所需要向大眾保持的透明度（accountability），一方面既能接受社會的監督，另一方面又能促進知識的流通。
從科技專案的種類來看，可分成三大類（Georghiou,1989）:
第一類為基礎研究（basicresearch），第二類為策略性研究，如共通性技術（generictechnology）與前瞻型技術（pre-competitivetechnology），及第三類為應用研究（appliedresearch）。
若以評估的對象來區分，由小而大又可分：
1.個別研究者2.專案（project）3.計畫（program）4.研究系/所/院5.學術領域與創新系統6.政策工具7.跨產業、領域與創新系統。
在許多情形下適用的標準及方法都會有所不同，至少根據研究的類型就會有所不同。
不同的研究機構會從許多不同的基礎研究或應用研究的科學範圍來完成任務，也因此對於評估的範圍及可比較的基準的考量上，會產生許多問題及困難。
顯然，機構和方案也必須考量不同的領域來要求他們自己的績效標準。
另外，評估的層次與計畫是針對個人、專案、方案、機構或甚至整個科學領域做評估。
所以在方法論上的也有許多爭議，例如：
計畫的績效可能不只是所組成的專案績效總和（過於單純），因為總效果並非和單獨的專案呈現線性關係，也因為有時所呈現的個人或專案是否有代表性會令人懷疑。
2.2評估活動之時間框架（TimeFrame）
為了使資訊量的獲得取得極大化，經常會延長評估的時間，甚至延長至計畫結束後。
有時計畫的評估又會有急迫性，因為其評估的結果會影響現行及後續計畫的規劃。
以制度上的來說，評估並沒有明白定義何時開始或何時結束，經常是由評估者自行決定，換言之，評估的時間框架需視實際評估需求而定。
科技專案的評估可分為事前（ex-ante）,期中（interim）與事後（ex-post）評估（Georghiou&Davis,1988）。
事前的評估主要是關於科技專案的規劃與執行政策，由於被評估的組織可能是政府、機構或實驗室，因此評估的功能與其重要性皆有所不同。
事後評估的理由有許多種，也有許多不同的目的。
例如達成的研究成果、和參考的案例或其他目標比較等。
所以，研究機構過去的績效和研究方式都會影響決策。
也因此造成事後評估由比較特別的委任方式組成，目標則和委託研究的機構有關。
而期中的評估則和計畫的進行程序有關，希望能作為決策者的管理工具。
Georghiou&Meyer-Krahmer（1992）則又將事前評估分為三類：
策略性事前評估（strategicexanteevaluation）、作業性事前評估（operationalexanteevaluation）和及時性事前評估（realtimeexanteevaluation）。
而Scriven（1967），則提出規範性評估（formativeevaluation）和摘要性評估（summativeevaluation）的觀念，來改善或加強計畫的管理工作。
規範性評估之資訊主要作為計畫管理人員使用，以隨時改善計畫的進行；而摘要性評估則是提供給外界人員了解計劃之實施成效之用。
此後，這成為該領域普遍接受的觀念（Worthenetal.,1997）。
圖1科技專案評估活動之時間框架
來源：
修改自GeorghiouandDavis（1988）
2.3評估準則（Criteria）
計畫的評估準則有相當多的方式，卻不是所有的評估準則都適用於同一計畫。
評估準則的考量有很多，例如：
科學的品質、經濟的產出和社會的影響。
因此，評估的準則必須配合計畫的目的與範疇。
計畫執行的效率（efficiency）：
智慧財產權保護、計畫時間的長短、技術轉移，效率的評估主要以計畫的操作面來考量，大部分的準則為客觀性。
計畫的效能（effectiveness）與衝擊（impact）:
基礎研究著重對科學社群的評估，應用研究的評估著重產學合作、法律管制與標準制定、國防部採購決策等。
適當性（appropriability）：
目標的正確性、計畫範疇的適當性、附加性（additionality），附加性意謂：
如果無該政府科技計畫的經費補助，公司/機構將不會有此研發專案。
在評估準則方面有許多不同的表達方式，Georghiou（1989）評估標準通常被分類為三種廣泛的類型：
1.科學及科技內容的獨創性及品質；2.關於操作性的實行部分3.計畫的策略目標。
Georghiou（1987）提出兩種類型的評估準則：
專案選擇的準則和事前評估的準則。
前者是不同的國家研究機構最常遇到的問題，其所強調的第一個準則是科學的價值。
例如研究人員從事該項研究的優先性、顯著性和影響該領域科學的效果等。
第二個準則是基金規模的合適性。
Weinberg（1963,1989）將評估準則劃分為內部和外部兩類。
內部準則來自科學的本身，尤其是它的效率。
相對地，外部準則應該可以清楚說明為何要進行這項科學研究。
在較小型的研究中，內部準則相當足以清楚說明經費如何分配，但對於大型的研究，內部準則就顯得不足，必須依賴和考量外部準則。
在1972年，NationalAcademyofScience（NAS）的物理學研究委員會上，採用了三項準則：
內部的（intrinsic）、外部的（extrinsic）和結構的（structure）。
事實上，NAS和Weinberg（1989）所提出的內部和外部準則精神相同。
另外，科學的價值可能對於社會有益、對計畫有益或是對實務界有益。
在這三者的互動中，產生了科學研究的評估準則，也代表了評估活動的多層面（multi-faceted）考量。
另外，關於上述的準則權重還需要視其計畫範疇及目的。
實際上，一般計畫所條列出來的準則，在不同時期會有不同的重要性。
一般而言，在exante專案階段之評估準則相對比起expost專案階段來說為重要。
在enante評估準則，通常必須將評估準則更詳實的表達，評估議題也較明確。
也因此，評估並無理論依據，而是為了形成決策，則必須蒐集資料所定義的項目。
在建立準則時最常發生問題者，在於計畫的目標及政策之爭議，而評估準則經常會隨時間而改變，因為評估結果可能和計畫目標不符合、可能有違現行政策目標。
此外，研究人員會有強烈的質疑，這些結論不但不能說明計畫的改變，也不能說明原先訂定的計畫目標。
2.4評估的方法和工具
Key等人（1976）認為評估的方法有hard-line和soft-line兩種。
前者有詳細的步驟和定義好的評估目的，後者則只具有一般性的目的和較為模糊的定義。
Gonda&Kakizaki（1995）認為R＆D計畫的評估並沒有一般性的方法論，因為評估系統是根據組織不同的目標、角色和功能來發展的。
在不同方法上的討論，事實上也和不同的科技政策階段有關，甚至在經費充裕的階段，常會忽略評估的重要。
計劃實施早期階段較主導的評估模型，目標集中在科學研究品質的估計，常會使用同儕審查（peerreview）和一些文獻指標（bibliometric）的評估方式，例如國際期刊之衝擊分析（impactanalysis）和文獻引用次數（citationcounts）。
在擴散階段，則會加強對社會和經濟的影響、計畫的引導性評價。
像是成本效益分析（cost-benefitanalysis）在近來培育產業研究的評估方法中，受到越來越多的重視。
同儕審查過程主要是提出科學上的見解，且偶而提供實際運作的觀點。
但較不會提出爆炸性的議題。
當然對於任何大型科技專案或是政策都必須包含質化和量化的研究。
這也就是說成本效益分析、經濟分析、個案研究、深入訪談和同儕審查等方式並不是互斥的，而是互補的。
Kostoff（1993）將這些研究法分為：
1.質化研究:
同儕審查與個案研究法；2.半量化研究：
歷史績效追蹤（historigraphictracingsofaccomplishment）、重要科學事件（criticalscientificevents）與典故分析（anecdotalapproaches）；和3.量化研究：
成本效益分析、文獻指標（bibliometricanalysis）。
Weiss（1998）建議基本的資料分析方法如下：
描述、計算、歸因（factoring）、集群（clustering）、比較（comparing）、找出有價值的因素（findingcommondities）、解釋不正常的個案（examiningdeviantcases）、共同變異（findingcovariation）、排除競爭者理由（rulingoutrivalexplanations）、建立模型（modelling）和說故事（tellingstory）。
Georgiou（1999）則將評估方法分為三類：
1.提供評估架構、有事前/事後比較、控制組、對照因素等；2.重視資料蒐集，又有訪問、調查和文獻法；3.重視資料分析，有個案研究法、經濟模型、指標建構成本效益分析。
2.5評估的實施
當方案的評估範圍、目的和準則訂定完成，接下來的工作就是評估活動的實施。
在實施階段最主要的兩個決策為：
設定預算（budgetsetting）和選擇評估者（evaluatorselection）。
在預算方面，評估的成本決定於直接及間接要素。
直接成本包括評估的人事成本、相關出差和經常費用。
在一些同儕審查中，經常使用不用付費的評估者，只是將成本移轉至評估者身上。
Gibbons&Georghiou（1987）認為評估成本至少有三種不同的方式：
1.有關幕僚、出差和管理等直接成本；2.同儕討論的時間成本；3.組織或是其他評估目的在時間上的成本。
Morel&Weirich（1983）則將成本分為直接和間接成本。
前者和評估目的有很直接的關係，後者和評估目的有間接，例如和組織、單位有關的活動。
以互動型態評估（interactiveevaluation）的間接成本可能更多，包括評估時的時間花費（透過訪談）及正常工作上的擔誤。
評估的成本常有爭議，英國上議院建議研發費用的1%，但根據研究的規模及重要性及結果的利潤多寡有會有所不同。
但是評估活動究竟需花費多少成本？
這個問題可以從巨觀面（macro-level）和微觀面（micro-level）來探討。
前者係指和其他計畫的比較，後者係指計畫內的成本結構（Alkin&Stecher,1983）。
在評估成本的問題上，雖然和計畫的範圍有關，但是計畫中的每項活動都有預算金額，所以在文獻上，對於評估的成本有相當大的差異。
Owen&Roger（1999）及Rusnell（1979）曾分別建議為10%-15%和10%。
然而Drezek（1982）等學者認為評估成本的平均數從1.5%到5.5%之間。
事實上，在這個問題上，仍相當缺乏實證的報告和研究。
在評估者的選擇問題上，Georghiou（1989）將與評估有關的成員分為三個種類。
1.被評估者；2.施行評估者；3.評估活動的聽眾。
Scriven（1997）則更加細分這些對象為1.外部評估者；2.內部評估者；3.委託人；4.顧客；5.利害關係人；6.聽眾。
其中來自不同領域的評估者會有南轅北轍的看法，即使是對同一件事情的看法。
Key等人（1976）劃分評估者為三種：
1.計畫的幕僚；2.該計畫所延聘的專家；3.由外部單位所延聘的專家。
這些不同的評估者對計畫的評估結果會有不同的影響。
可以確定的是，選擇由誰來實行評估是非常重要的。
而評估者的選擇，和所使用的工具、方法都會影響到溝通的機制。
2.6溝通機制
溝通機制為利害關係人和評估者之間很重要的一環。
好的溝通機制能夠考慮到這些利害關係人的疑慮和考量，讓他們和被評估者達成共識。
溝通機制在處理資料蒐集時所面臨的政治和人際網絡問題。
典型的分類是分為上層和下層機制：
上層是指機制決策者、計畫管理者和評估者；下層是指研究者和被評估者。
而溝通機制主要在建立計畫內成員的合作平台，評估者不僅定期和計畫成員保持聯絡，以取得重要和正確的資訊，另外，也提供計畫管理者瞭解問題和改善的機會。
如果決策者和評估者對於評估這個議題的交互瞭解越深，最後的評估結果也就越有價值。
Worthen等人（1997）在溝通機制方面，提供了以下的建議：
1.提供機會來包含新的問題和改善之道；2.發展出評估者與利害關係人間的共識；3.讓所有的利害關係人對評估標的（人/計畫/單位）的熟悉程度；4.鼓勵建設性的批判。
決策制訂者不僅使用評估活動來瞭解計畫的執行狀況，也用來控管這些計畫。
或許最後必須被提及的是誰會去接觸評估資料。
一個成功的計畫評估者，如果你能掌握辨識研究產出的使用者，則評估已經完成一半了。
使用者可能是其他科學家、公司、管理者、政府部門或大眾。
同儕評鑑和相關的測量法尋求的是辨試研究的科學使用者。
在此之外，將研究成果直接或間接的運用在經濟上，則非常難去找到到底由誰做的。
許多研究，例如專注在改善環境，可能會受惠大眾但程度卻不大，也因此彼此間的連結越模糊，則越困難去辨識特定的使用者而得到與評估相關的情報及觀點。
辨認使用者就像上述所說的安排評估資源及建立標準一樣，必須應用適當的方法及技巧。
3、評估系統之建立-4C鑽石模型建構
綜觀以上討論，本研究提出4C模型來構建：
1.外部環境（Context）：
也就是所謂適法性、適權性的問題，以及出資機關的政策引導；2.內容（Content）：
目的和範疇、準則（指標系統）的定義、範圍、解讀和類別、以及涵蓋的時間範圍；3.接觸面（Contact）：
評鑑人員的組成、評鑑小組、利害關係人、技術受用人、業界的導入等；4.結果（Consequence）：
如果做好前面3C就可以達到
（1）.評鑑結果回饋給研發單位（Feedback）
（2）.成本不會過高（Cost）（3）.有可靠度（Reliability）。
圖2大型科技專案評估機制之建立-4C鑽石模型
許多國家都有其科技專案，但是評估機制在這四項因素上扮演的角色都不相同。
根據文獻討論，本研究將這四項構面進一步整理如下：
3.1外部環境（Context）
外部環境乃指適法性或適權性的問題，以及出資機關的政策引導。
一個科技政策的引導可能來自於某項法案的宣示，並且根據該法案進行所謂的專案規劃。
例如美國ATP計畫即是緣起於1988年貿易與競爭力法案（OmnibusTradeandCompetitivenessActof1988）改變了國家技術與標準局（NationalInstituteofStandardsandTechnology,NIST）的權力與責任，也促使國會特別針對境內美國企業的競爭能力而制訂ATP計畫。
而Alvey計畫則是緣起於80年代的英國政府有感於資訊科技競爭力的下降與世界各國的投入，主要是回應日本政府在1981年大力投入第五代電腦計畫，遂進行此一大型計畫。
其次，在出資機關的政策引導上，美國ATP計畫為加速共通性的科技創新，因此特別針對美國產業間進行科技研發能量的提昇；英國Alvey計畫受到政策的引導，研究計畫包含產業競爭力、長期的學術能量與政府內國防部門的半導體計畫。
3.2內容（Content）
內容為評估計畫的主要構成部分，可以分為目的與範疇、時間框架（活動涵蓋的範圍）和評估的準則等三項，分述如下：
從目的與範疇層面來看，可以由科技專案的種類和評估的對象來區分。
由研發專案的種類來看可分成三大類:
第一類為基礎研究，第二類為策略性研究及第三類為應用研究；以評估的對象來區分，由小而大又可分：
個別研究者、專案、計畫、研究系/所/院、學術領域與創新系統、政策工具、跨產業、領域與創新系統。
從評估活動的涵蓋範圍和評估的準則來看，可以分為事前、期中、與事後評估。
而我國政府與文獻報告多半集中在前面的階段，較為忽略事後評估的部分。
而根據文獻的回顧，許多計畫的評估會發生在計畫結束後的五年、十年以上，也是我國目前較為忽略的部分。
單獨以評估的準則來看，又可分為內部評估和外部評估，前者可視為機構或單位評估，後者可視為計畫評估。
如果以指標的分類來看，也可以有不同的考量，有重視科學及科技的創新獨創性及品質、有重視計畫的執行部分、也有著重計畫的社會利益或經濟利益。
3.3接觸面（Contact）
由於計畫影響的層面甚廣，不僅包含評鑑人員的組成、評鑑小組、利害關係人、技術受用人、業界等，彼此之間的聯絡與互動方式、評估時所選用的方法，也會在事前牽動計畫的形成和事後影響績效的評估，故可以分為：
工具與方法、溝通、評估者三個部分。
從工具與方法來看，大致上可分為質化研究、半量化研究和量化研究等方式。
尤其科技專案的成效往往出現在計畫結束後數年，因此評估的工具和方法就顯得重要。
短期指標多重視量化的達成率、數字間的比較；長期的指標多半重視對社會與經濟的影響，質化比量化重要。
再往下細分，質化研究中的同儕審查與個案研究法，也牽涉到利益是否迴避、單位之間的溝通和互動等問題。
從評估者和溝通制度來看，主要被評估者、施行評估者和評估活動的聽眾之間有許多重要的政治問題。
也因此會有學者進一步細分這些對象為外部評估者、內部評估者、委託人、顧客、利害關係人、.聽眾等。
在一些產學合作的案子中，像是智慧財產權的處理也是個問題。
學術研究者重視論文的發表，而產業重視智慧財產權的保護，可能是列入營業秘密或是先提出專利的申請。
另外，這些評估者可能為計畫的幕僚或是該計畫所延聘的專家，因此本來就具有是否球員兼裁判的爭議，所以文獻上有許多評估是由其他單位所延聘的專家、或是國外的專家來進行。
研究計畫、委託人和大眾之間的關係，對於計畫的內容和結果也會有直接或間接的影響，所以學者Owen等人（1999）便探討了評估者和聽眾具有不同的角色，產生了不同的互動和結果。
可以試想，當計畫的聽眾是研究機構內的科學家和面對產業界、一般大眾也多少不同。
也因此，良好的溝通制度可以確保計畫在不同的介面間轉換時，能夠保有正確的內容和結果。
3.4結果（Consequence）
在評估的成本部分，儘管文獻上對評估成本的估計差異非常大，但是計畫還是能夠落實以上3C來控制適當的成本以及確保計畫的成果。
但是在過去，在計畫的評估成本上，往往只包含了有關幕僚、出差和管理等直接成本而忽略了同儕討論的時間成本等隱藏的部分。
另外，計畫的評估結果，不僅可以作為研發單位改進的依據，也是研發機構向國會或是其他委託人呈現具體成果的重要依據。
尤其大型的研發活動，會在計畫結束後數年，對社會和經濟產生重大的影響。
例如我國70年代推動的半導體計畫不僅帶動了台積電、聯電、世界先進等公司的誕生，也帶動從IC設計到封裝、測試、成品的產業鍊。
這些計畫結果的回饋，也持續帶動政府對於半導體業的投入，目前已經成為兩兆雙星的重點計畫。
4、個案研討
4.1美國前瞻技術方案（ATP）
4.1.1科技專案之目的
根據1988年貿易與競爭力法案（OmnibusTradeandCompetitivenessActof1988）所述，ATP的目地在協助美國企業，能夠從事共通性技術研發與充分應
升级会员 