参与者导向评鉴取径.docx

参与者导向评鉴取径.docx

《参与者导向评鉴取径.docx》由会员分享，可在线阅读，更多相关《参与者导向评鉴取径.docx（15页珍藏版）》请在冰豆网上搜索。

参与者导向评鉴取径

參與者導向評鑑取徑

馮丰儀

壹、前言

由於各人所處環境、價值觀、及處事態度的不同，故人的行為很難加以簡化為單一通則或定律，事實上，凡涉及人的因素必然具有某種程度的複雜性，但在行為科學時代，此往往為大多數的研究者與評鑑者所忽略。

鑑於此，參與者導向評鑑取徑於1970年代早期快速成長，主張強調方案活動和現場的第一手經驗，運用自然主義的探究方法來觀察和確認所有與人類服務工作必要的有關面向、議題和結果，由方案的參與者來決定評鑑的界線，及其參與以協助事實的真實呈現，並由被方案服務的團體和個人的判斷決定評鑑的結果，避免僅由外部評鑑者作判斷時可能的偏差。

此外，參與評鑑的基本原理在於其系統性蒐集和社會性建構的知識之利用。

當學校和學區成員實踐應用的研究任務時，他們確保組織學習的能力將被強化。

直接參與研究的過程和對技術研究知識的學習將提供成員討論過程和結果資料的機會可以促進組織成員於表達意見的過程中進行自我反省（CousinsandEarl,1995）。

在現今強調自我評鑑，自我導向的組織學習，透過此參與的過程，不僅使參與者有表達意見的機會，亦有助於協助其自身進行反省、自我檢視與改進，進而促進個人專業成長與組織發展，由此更可顯出參與者導向評鑑的意義與重要性。

本文旨對參與者導向評鑑取徑有一全盤性的瞭解，以下擬針對參與者導向評鑑取徑的意義、類型、特色、實施和應用加以介紹，並就其優缺點加以分析。

貳、定義

參與者導向評鑑取徑是方案評鑑取徑的一種形式，要求所有的服務對象一齊思索他們應該提出的問題，他們努力的目標，什麼是應考慮持續，及什麼是要去做的。

其主要有三個信念須加以考量的，首先評鑑應回應被評鑑現場個人或成員的需求及關注焦點，因為一般而言，方案中工作的人員需求和關注點在思考特定評鑑和研究計畫時往往不會被列入考慮，而在參與者導向評鑑，參與者資訊的需求至少和其他利害關係人是立足於平衡點上。

其次，如果評鑑資料有助於形成和修正方案，對參與者有意義也會被採用；但是，在某些情況下，所得資料也有可能不被信任。

再者，社會研究或方案評鑑不可能為中性的活動，我們問的問題和我們回答的方式往往會反映出一系列的信念、期望和興趣，但在參與研究的過程中，人們卻不會計算或檢視他們聲音被聽到和研究過程被形塑的機會（Levin,1999）。

由此可知，評鑑者的重要性。

值得注意的是，所有權力的分享和影響並不意謂參與模式的使用，評鑑者或研究者就無法扮演有意義的檢視角色。

參與者評鑑的重點在於在當前組織脈絡中確保解決實際問題的評鑑資料之使用，其次，參與評鑑的形式係由研究者與實務團隊成員的伙伴關係共同形成，因為研究者有研究的技術，而實務人員有完整的脈絡和內容知識。

此有別於傳統完全由研究者控制和完全以實務人員為中心的研究（CousinsandEarl,1995）。

故評鑑者要扮演負責引出所有利害關係人想法、信念和關注點的學習者（Guba&Lincoln,1985）；當然並非所有的方案參與者樂於表現其個人意見，這時評鑑者就需要清楚溝通其意見的重要性，且使參與者感到受支持並且樂意表達。

Fremming（1991）則認為這是評鑑的「起泡（bubble-up）的方式」，使所有參與者的聲音能被聽見，包括「組織中的非精英份子」，其所持的觀點可能會不同於這些管理階層所持的意見（pp.25-26）。

唯有同時考量到不同成員反應出不同的觀點，評鑑才有意義。

另外，此取徑的評鑑者第二個角色為教師，反映參與者對方案的願景及他們所希望能存在和持續的方向。

此機制創造了對方案應該且增加使每個人聲音適當被聽見的新瞭解和概念。

總而言之，參與者導向評鑑取徑即是使方案參與者參與方案的評鑑過程，在此過程中，重視多樣的觀點，運用多元的評鑑技術工具以蒐集多元的資料，並使參與者的意見能充份呈現，以勾勒出完整的真實事件圖像，進而提供決策者作決定之參考。

參、類型

參與者評鑑取徑係由Stake（1967）首先提出，在其「教育評鑑的支持（CountenanceofEducationalEvaluation）」報告中，主張以描繪和處理參與者判斷為中心會改變次一世紀評鑑者的思考，之後他並陸續提供有關此評鑑取徑的相關概念和原則的介紹。

而Guba（1969）討論「教育評鑑的失敗（failureofeducationalevaluation）」，則提供針對理性評鑑取徑的另一選擇；至一九七六年，Parlett和Hamilton（1976）認為先前的研究派典並不足以研究革新性的教育方案，故提出遵循社會人類學派典的「說明（illuminative）評鑑」；另外，MacDonald（1974,1976）指出評鑑取徑為有問題的政治目的所誤用，遂主張「民主的評鑑（democraticevaluation）」以保障整個參與社群的權利和資訊需求。

之後，GubaandLincoln（1981）檢視所有方案評鑑使用的主要取徑，且僅認同Stake的回應評鑑（responsiveevaluation），即與自然主義探究結合而創造出的評鑑取徑，著重評鑑為授權給被其他評鑑取徑所束縛的利害關係人的手段。

迄今為止，尚有授權評鑑（empowermentevaluation）等由許多學者專家提出有關參與者導向評鑑取徑的相關報告。

以下擬就幾個參與者導向評鑑取徑發展過程中影響較大的幾個模式作進一步介紹：

1、Stake的支持架構（CountenanceFramework）

描述矩陣判斷矩陣

意圖觀察標準判斷

一致

一致

一致

原理說明假假定

處理

結果

教育評鑑支持架構圖（引自Worthen,Sanders&Fitzpatrick,1997,p.157）

Stake（1967）認為評鑑的二個基本要素為描述和判斷。

運用上面的架構，評鑑者1.提供方案原理的背景、證明和描述（包括其需要）；2.列出所需的假定（輸入、資源、現況）、處理（活動、過程）和結果；3.記錄觀察到的假定、處理和結果（包含非計劃的特徵的觀察）；4.明確的陳述標準（規準、期望、相比較方案的表現）以判斷方案假定、處理和結果；5.記錄對假定、處理和結果的判斷。

評鑑者藉由檢視意圖和觀察間、處理和假定的結果、及對假定的處理的一致性來分析描述矩陣的資訊，再運用標準判斷描述性資料。

此架構或可提供評鑑者一思考的概念性架構，但卻低估了描述評鑑的過程（Stake,1991）。

二、說明式評鑑（IlluminativeEvaluation）

ParlettandHamilton（1976）提出說明式評鑑，包含方案整體的徹底研究－即組織脈絡中方案的原理原則、發展、運作、成就與遭遇的困難。

其主要適用於小範圍方案，用來說明問題、議題和明顯的方案特徵，係以社會人類學派典、精神病學和社會學參與觀察研究為基礎，著重在瞭解複雜的教育脈絡並進行描述和詮釋。

他們認為影響方案的因素不同，故有必要研究方案的脈絡，而評鑑者的任務即在對方案四周複雜的事實進行全盤瞭解，藉形成討論、解開複雜事實、將重要事務與瑣事分解，與提高複雜層次的論辯來加以說明，雖然說明式評鑑著重資訊蒐集而非決策，但仍期望不同的團體看過評鑑者的報告後有助於作出困難的決定。

另外，評鑑者較重視發現、記錄和討論方案的組成及什麼是真正的參與者。

評鑑過程的基本階段包括（ParlettandHamilton,1976）：

觀察、進一步探究、解釋。

說明式評鑑強調過程、主觀資訊、自然式探究，故其資料大多來自觀察、面談、問卷和測驗、及文件或背景資源，如能對這些資料進行三角檢證將有助於事實的正確描繪（Worthen,Sanders&Fitzpatrick,1997）。

三、回應式評鑑（ResponsiveEvaluation）

Stake（1978）認為如果評鑑者注意到讀者瞭解和溝通事情的自然方式，那麼將有助於評鑑的讀者瞭解方案；且從經驗獲得的知識有助於人類的瞭解和人類經驗的延伸；再者透過經驗以確認目標和議題在情境內外的相似性以達成自然推論，將有助於拓展人們看待和瞭解方案的方式；另外，藉由研究個別目標，人們累積在其他類似事物可能被使用的經驗，可增加個人經驗和對人的瞭解。

基於上述理由，故他提倡參與者導向評鑑取徑。

而回應式評鑑係Stake（1972）延伸先前所提的支持架構而來，但較支持架構不那麼正式，且較為多元與注重過程（Worthen,Sanders&Fitzpatrick,1997）。

Stake（1972,1975a）認為回應式評鑑的基本信念為：

較重視熟悉方案活動而非方案的意圖；能回應讀者對資訊的需求；及能在方案報告中呈現不同的價值觀點。

故他強調回應方案事實及參與者反應、關注點和議題的重要性，主張發展改善評鑑的技術和以評鑑者的自然評鑑行為為焦點，記錄利害關係人意見（audience）的層面和議題。

改善與利害關係人的溝通是回應式評鑑的主要目標，即回應人們吸收資訊和獲致瞭解的自然方式。

故其目的、架構和焦點來自和組成者的互動，且這些互動和觀察會導致對議題的進一步關注。

因此評鑑者較喜歡以自然或民族學派典及採取質性方法進行評鑑，報告書往往記錄了方案現場的多元性，不過關於什麼是最好或較佳方案則視判斷者及其個人價值標準而定。

Stake（1975b）使用時鐘圖（如下）作為反映回應式評鑑中明顯循環事件的設計。

雖然評鑑的活動最好從十二點鐘的活動開始再依序前進，但事實上，許多事件也可能同時發生，也可能發生許多次，事件發生可能採逆時針方向或交叉方向進行，由此可知，彈性是參與取徑的重要特色。

與顧客、方案成員和讀者對話

組合正式報告確認方案範圍

讀者使用的分類和整理方案活動的概覽

合理化、證實和不正實發現目的和觀注點

主題化：

準備描繪、個案研究議題、問題概念化

觀察、描述假定、處理和結果確認資料需求及議題

選擇觀察者、判斷、工具

圖回應評鑑重要事件（引自Worthen,Sanders&Fitzpatrick,1997,p.161）

四、自然式評鑑（NaturalisticEvaluation）

Guba與Lincoln（1981,1985）把自然式探究和Stake的回應式評鑑作結合，他們認為評鑑的主要角色在於注意成員不同價值觀點以回應讀者對資訊的要求，而在描述到什麼是評鑑者的新角色時，GubaandLincoln（1985）即提出從原本外部專家從事評鑑轉變至由邀請的賓客、學習者來負責「問出多樣利害關係讀者的主張、關注點和議題」（p.4）。

將自然式探究的評鑑者界定為學習者，提供情報者則扮演教導學習者的角色，因為評鑑者須要學習他們的觀點，學習他們使用的概念來描述其世界、運用其概念的定義、學習「民族理論」的解釋，且將其世界轉換為評鑑者和他人能瞭解的世界。

另外，他們也強調自然式探究也重視使用來判斷科學探究的嚴謹標準，但要求再詮釋，而通常運用交叉檢覆和三角檢證法來建立研究的信度；使用能在其他脈絡測試的假設和豐富描述來確保其適用性。

自然式評鑑者首先從確認利害關係人開始進行評鑑，利害關係人所持的價值立場極為重要，故他們的觀點應能夠反映在評鑑上，自然式評鑑者使用現場筆記和記錄為資料的來源，透過使用面談、觀察、非口語線索、文件、記錄和非強迫測驗，來引出利害關係人關注的的焦點和議題，其中描述不僅為資料亦為報告技術。

其蒐集的資料大致包括（Worthen,Sanders&Fitzpatrick,1997）：

1.對於評鑑事物和其脈絡的描述性資訊；

2.回應事件的資訊（記錄事件、找尋原因和結果，確認可能行為）；

3.回應議題的資訊（釐清議題、確認潛在的解決行動課程）；

4.價值的資訊（釐清價值，發現有關來源和確信程度）；

5.被使用在評鑑的標準（確認標準、期望和需要）。

五、授權評鑑（EmpowermentEvaluation）

授權評鑑係植基於社群心理學、行動人類學和行動研究，也源自合作和參與評鑑（Fetterman,http:

//www.ariassociates.haverford.edu/inprint/conference/fetterman.html），主要由Fetterman（1993）提出。

不同於傳統的評鑑觀念，授權評鑑除了使用評鑑概念和技術以促進改進外並加入了協助自我決定（self-determination）的概念，自我決定即個人決定未來生活方向的能力，其目的在透過自我評鑑與自我反省幫助人們幫助自己，著重改進，共同合作，且同時主張採用質與量的方法蒐集資料（Fetterman,1994;1996;2000）。

而承諾真理和誠實是授權評鑑重要的原則之一，主張在脈絡中和從多元的世界觀來瞭解事件。

其試著從參與者觀點儘可能的瞭解情境，然後以有意義的目標和策略及可靠的記錄來改進。

不同於傳統評鑑的是，授權評鑑通常包含組織所有層級的參與者，由利害關係人，方案成員、參與者及外部人員共同建立他們的目標、過程、結果及發揮影響。

此外，方案成員和參與者進行自我評鑑，通常包括接受外部授權評鑑者的訓練、教導和協助（Fetterman,2000）。

在授權評鑑中，評鑑者首先應教導並協助方案成員和參與者使用多種的方案自我評鑑文件和其他研究訓練工具來進行自我評鑑，以完成方案評鑑的系統性過程；其次，評鑑者應扮演教練或推動者的角色以幫助評鑑之進行，即協助利害關係人界定評鑑目標與評鑑的指標，同時協助其目標的達成，值得注意的是，授權評鑑者僅提供有用的資訊，以訓練和過去的經驗為基礎來提供方向和跟上進度發展；再者，評鑑者作為倡導者，應扮演積極的角色促以改變發生，即透過評鑑發現，提供政策制定者參考的資訊（Fetterman,1994）。

  總之，授權評鑑基本上為民主的過程，此整個群體，不單指外部評鑑者或內部管理者，要負責進行評鑑，而是這個群體須檢視並修正所有成員不同的偏差和個別的想法。

評鑑者須扮演諍友（criticalfriend）的角色，能對共同的偏見和團體思考提出質疑（Fetterman,2000），故授權評鑑應同時啟蒙和解放方案的利害關係人，鼓勵其他們從不同的觀點來檢視其方案，且修正他們在方案中所扮演的角色。

此過程將有助於利害關係人對顧客和政策制定者展現出較佳的方案效能；回答他們管理和服務的問題，以確保他們自身的資源，或者促進他們服務的群體之社會改變（Secret,Jordan&Ford,1999）。

肆、參與者導向評鑑取徑之特色

參與評鑑取徑的目的在於透過參與方案的成員參與評鑑的過程，從多元觀點來反映多元意見，進而獲得可靠的評鑑資料。

從以上幾種參與者導向評鑑取徑可以發現，他們在某些重要層面有所類似，Hamilton（1977）以多元評鑑模式來描述，即

相較於其他古典模式，它們較廣泛，較自然，且較能適應；依順序，他們對方案參與者不同的價值較敏感，採用經驗的方法，發展回饋材料與轉換來自評鑑者正式判斷為參與者的焦點。

以下謹將其特徵臚列如下（Worthen,Sanders&Fitzpatrick,1997）：

1、教育為人類所為且承認人類事件的複雜性，故應企圖在複雜脈絡中瞭解自己與人類服務（Wachtman,1978）。

2、確認、接納和保護價值多元主義。

3、偏愛以描述性說明描繪清楚界線內的實體與其運作的廣泛脈絡。

4、評鑑者透過草根模式觀察和發現瞭解議題、事件或過程，從事歸納推論。

5、運用多樣資源蒐集多樣資料（主、客觀資料、質化與量化資料），以協助瞭解被評鑑的現象並進行評鑑。

6、評鑑沒有標準化計畫可遵循。

評鑑過程的發生為參與者在活動中獲得經驗。

通常評鑑的重要結果是對特定實體及其特有的脈絡影響、過程變項和生活史有一豐富的瞭解。

7、記錄多樣的事實而非單一事實。

人們看待事性的角度不同，詮釋也不一樣，只有個人才能確知什麼是自己經驗過的，接受的觀點是正確的，評鑑者的中心任務是掌握事實並描述它們，但仍保有方案的複雜性。

在談參與評鑑取徑時，難免會有疑問其與以利害關係人為基礎的評鑑模式有何不同，事實上，參與者導向評鑑取徑所包含的通常指方案的參與人員，而利害關係人導向評鑑則包含的對象包括較廣，茲列出二者不同，期能從比較中對參與者導向評鑑取徑的特色有更深入的瞭解（Cousins&Earl,1995）：

1、利害關係人模式試圖吸引大多數的組織潛在利益成員，為了創造支持；而參與者評鑑模式包含相當少數的主要使用者。

2、利害關係人模式包含組織成員以商量的方式來釐清面向和建立對評鑑或研究計畫的問題；而參與者評鑑模式使主要使用者以「堅果和逃出（nutsandblots）」來形成問題，設計和選擇工具，蒐集資料，分析，詮釋，建議和提出報告。

3、利害關係人模式中，研究者是轉換機構需求至研究和進行研究的主要調查者；在參與者評鑑模式，研究者是計畫與技術支援責任、訓練和品質控制的協調者，進行研究是共同的責任。

伍、參與者導向評鑑取徑之實施

藉由創造確保組織學習的學習系統，參與評鑑提供了教育組織改進的有力方法，且能導致較佳的決策產生。

而參與評鑑欲獲得有效結果，組織首先要能重視評鑑，即能運用評鑑資訊及評鑑結果作為組織決策的參考依據；第二，管理者能提供所需的時間和資源；第三，組織需要承諾組織學習為朝向改進的路徑；第四，教師和管理者參與評鑑活動需要被激勵；最後，有必要假定可能參與評鑑活動的成員沒有充足的研究經驗和知識以實踐此任務，但有學習的能力（CousinsandEarl,1995）。

而在參與評鑑中，評鑑者首先須受過必要的評鑑相關技能的訓練和具備專業知識，第二，評鑑者須有管道參與組織的活動；第三，要能獲得研究過程所需的資源；第四，考量評鑑者在參與過程所表現出的教學角色；第五，評鑑者要能激勵參與；最後，評鑑者應有忍受不完對的容忍力（CousinsandEarl,1995）。

至於參與者導向評鑑取徑之實施，除了上述的考量事項外，茲以授權評鑑為例，說明其實施步驟，作為對參與者導向評鑑取徑實施之參考（http:

//www.ariassociates.haverford.edu/inprint/conference/fetterman.html）：

1.仔細估量或決定方案的立論點，包括優缺點：

首先，方案的參與者就方案的內容加以評估其重要的部份，選出欲優先進行評鑑的部份，接著就組織本身所能提供的資源加以考量，決定採取的資料蒐集方式。

所以，參與者導向評鑑首應就欲評鑑方案的哪一部份作決定。

2.著重建立目標，決定未來在方案改進中想達成的明確重點：

由參與者決定他們希望方案未來的方向，此方向的建立需同時從監督者和顧客的觀點出發，且目標的訂定要符合實際，考量組織現況、資源及方案活動與結果的連結性。

故參與者導向評鑑在決定欲評鑑的對象之後，須擬訂欲達成的評鑑目標。

3.發展策略和幫助參與者決定他們達成方案目標的策略

因為方案的參與者可視為其工作的專家，所以方案參與者須負責選擇和發展完成方案目標的策略，包括運用腦力激盪、批判檢視和達成共識來建立一系列的策略。

這些策略通常會被作為評鑑方案效能和適切性的參考依據。

故參與者導向評鑑在評鑑的過程中，可以方案實施運用的策略為評鑑方案的依據。

4.幫助方案參與者決定朝向目標進步所需的證據類型

在此過程中，方案參與者被要求決定在評鑑過程記錄結果的工具，任何形式的記錄都應有利於蒐集相關的資料，且所採取的方法要有助於評鑑目標的達成。

另外，此記錄具有可靠性與嚴謹性能為評鑑者所參考。

故參與者導向評鑑取徑主張應利用多元技術來蒐集多樣參與者觀點的資料，以清楚描述方案的事實，進而協助評鑑者作出適當的判斷。

陸、參與者評鑑取徑之優、缺點

綜上所述，茲將參與者評鑑取徑的優缺點整理分析如下（Worthen,Sanders&Fitzpatrick,1997）：

一、優點

1.因為強調蒐集多元資料的重要性，參與者取徑同時使用質和量的方法，有助於資料的豐富性與完整性。

2.強調評鑑中人的因素，提醒評鑑者對被評鑑對象需求的注意，且強調從不同的觀點看方案。

3.運用此取徑者視方案為複雜的人類行為，且企圖去適度的反映其複雜性。

將有助於獲得有關教育、社會或共同的新視野和可利用的新理論。

4.具有彈性，且注意脈絡變項，鼓勵使用多元的資料蒐集技術，以提供關於人和組織行為較不具體但重要的方面。

5.提供豐富與具說服力的資訊，使讀者相信其確實反映內在工作與方案複雜性的真實瞭解。

二、缺點

1.參與者導向評鑑取徑增加了政治要素之故，促進了方案服務對象的活動主義。

2.它成本較高，需要經費與全時投入。

但是很少利害關係人有時間來投入此真正民主的過程，尤其對生活已負擔過多的方案成員和顧客。

3.評鑑依賴人的觀察和個別觀點的主觀性重，且傾向減低工具和團體資料的重要性至最低，遭致「鬆散與未具體化的評鑑」之批評；而依賴開放結果技術和連續的重視此取徑使評鑑者偏好成為潛在的問題。

。

4.俗民誌田野工作花費太多時間，以致於情境時常改變，或者領導者在評鑑發現提出之前需作決定，且參與導向取徑評鑑辛苦的程度會限制能被積極研究個案的數目。

5.沒有提出關於多元性方案權重或結合個人標準至全體判斷的方式，此取徑對所有人除了最具敏感度和最有技巧的評鑑者以外都是困難的。

柒、參與者導向評鑑取徑之應用

參與者導向評鑑取徑在方案的應用上極為廣泛，包括社會福利、犯罪防治、及醫學、…等方面，在教育方面，則有Eral等人（1995）針對學校和學校系統所作的參與評鑑，Fetterman（2000）所作的授權評鑑等。

以Lee和Cousins（1995）針對「參與補助學校改進評鑑：

成效和支持要件（ParticipationinEvaluationofFundedSchoolImprovement:

EffectsandSuportingConditions）」的研究中，選擇了八所潛在的學校現場進行，其中四所代表方案實施的不同階段，其他的學校則在其方案實施和評鑑資料蒐集的第一年，所有學校並沒有處於相同的學區。

方案團隊的成員被使用半結構性訪談工具進行面談，且面談主要由回應者對前二個問題的回答引導。

於面談進行之後，研究者個別的總結回答，並將之作為主要發現的基礎。

面談資料包含在評鑑委員會的記錄，記錄中還包括每個補助現場所費的時間，提供的支持型態與參與者對評鑑過程與任何出現方案實施議題的觀察。

另外，Cousins（1995）在「使用參與評鑑評估方案需求：

比較高度和邊緣的個案（AssessingProgramNeedsusingParticipatoryEvaluation:

AComparisonofHighandMarginalSuccessCases）」研究中，同樣也運用了訪談的方法來蒐集資料，在每個個案中，所有的研究團隊成員都接受訪談；此外，私下的訪談也為三個研究者所進行，處理訪談資料的步驟則以一概念性架構來描述。

至於授權評鑑，則有Fetterman（1999）針Standford教師教育方案（STEP）所作的評鑑，第一階段的評鑑是形成性的，被設計來提供改良和改善方案的資料。

報告總結於1997-1998年的學年，發現且建議以多樣形式的評鑑報告來表達。

第二階段的評鑑則是總結性的，提供方案的全面評估，最後的報告提出方案評鑑的發現與建議，著重在任務、課程、研究、專業發展學校/大學學校伙伴關係、教授參與、…等議題。

評鑑的進行運用了傳統的評鑑步驟和技術，包括需求評估，行動方案，資料蒐集（訪談、觀察和調查），資料分析，提出發現和建議。

資料的蒐集包括檢視課程、認可和財政記錄，並與教授和學生進行面談，且觀察教室活動。

非正式的訪談資料從95、96、97的