政策评价的模型与方法.docx
《政策评价的模型与方法.docx》由会员分享，可在线阅读，更多相关《政策评价的模型与方法.docx（15页珍藏版）》请在冰豆网上搜索。
政策评价的模型与方法
第一章引论
本章导读
评估是根据特定标准对事物（即评估对象）进行衡量、检查、评价和估计，以判断其优劣与利弊得失。
政策评估工作始于“一战”时期，当时主要是对教育和疫病防控政策的效果进行评价。
20世纪80年代起，政策评估受到各国政府和学术界的普遍关注，很多学者、官员致力于政策评估的研究和实践，但直至目前，仍未形成共识的关于政策评估的理论体系与方法。
政策评估的定义及范畴会直接影响评估模式的设计、选择和使用。
本章的主要内容是介绍政策评估的目的和主体，界定相关概念与基本范畴。
第一节政策评估的目的与主体
一、政策评估的目的
Rossi和Freeman（1999）将政策评估的目的归纳为项目改进、明确责任、知识积累、政治策略和公共关系等五项。
Frans-Bauke和Jurian（2006）认为评估的目的有两个：
其一，通过评估政策的结果和产出，促进政府承担其责任和义务；其二，促进学习，以提高政策制定和执行能力。
此外，也有学者提出政策评估的主要目的是了解政策效果、增加政策的透明度、帮助制定决策和促进利益相关者之间的协作等。
巴顿则强调评价的终极目的在于利用。
根据文献，政策评估的主要目的可以归为以下几点：
（1）结果导向。
已有的政策评估和相关研究大多是结果导向的，评估者把评估看作是价值判断的过程，即评价政策在多大程度上实现了预期目标（James E. Anderson，1990），也就是测定和区分政策的有效部分与无效部分（Vedung，1997）。
评估者往往被要求评定公共支出的社会或（和）经济影响（Lang，2001），通过比较政策的投入和产出判断该项支出是否值得。
（2）原因分析。
一些学者强调政策评估应用以解释政策目标和政策效果之间的关系。
Lang（2001）认为，政策评估与政策监控之间的本质区别在于评估需考虑政策工具、政策执行系统与所测量的政策效果之间的因果关系。
明确产生已有政策效果的原因才可以深入探讨该政策的利弊和易被忽略的问题及环境对政策效果的影响。
（3）促进学习。
政策评估的一个重要目的是促进学习，提高决策的效率和效果（Rossi、Freeman，1999；Weiss，1999；Knaap，2000；Frans-Bauke、Jurian，2006）。
政策评估可以引发深度、系统的学习（Lang，2001），评估结果和评估中的发现能够增进政策制定者对现实情况的了解，促使他们反思各种政策和工具的有效性和局限性，有助于政策制定者积累更丰富的经验、做出更科学的决策，从而完善政策的制定和执行过程。
（4）决策支持。
政策评估既需要考虑该项政策是否必要（Rossi、Freeman，1999），也要收集有用信息以供相关政策制定和项目本身的调整参考和借鉴（OECD）。
不少学者认为，是否“有用”和“被使用”是判断政策评估价值的一个根本性指标，只有能够对完善相关政策或对制定其他政策提供借鉴的政策评估，才是有价值的政策评估。
综合所述，政策评估的最终目的无非是完善特定政策，进而为相关政策的制定提供借鉴。
这一目的往往通过效用评估、原因分析、知识学习和经验积累，以及增进与相关者的合作等方式实现。
首先，分析政策结果，测量政策在各方面的预期与非预期效果和影响。
其次，挖掘取得该结果的深层次原因，分析政策制定、执行中的优点与不足。
再次，通过学习不断提高决策能力和经验，为决策制定和政策调整提供有价值的建议。
二、概念与基本范畴
不少学者对政策评估的定义有着不同的看法，就其基本概念与范畴并未形成统一的认识，主要观点可以分为三类。
第一类观点认为，政策评估是针对政策效果的评估，是对政府干预的价值、产出及结果的回顾与评价（Vedung，1997）。
在此基础上，有学者强调政策评估是评价人们所执行的政策在实现其预定目标上的效果（Rutman，1980），也有人强调不仅要考察预期效果的达成情况，还要考虑其他非预期影响（Vedung，1997）。
第二类观点认为，政策评估主要是对政策方案的评估，“主要关心的是解析和预测，它依靠经验性证据和分析，强调建立和检验中期理论，关心是否对政策有用”（Nagel，1999）。
在此政策评估被看作是一种分析的过程（林水波、张世贤，1980），评估者通过搜集相关信息，对各政策方案进行分析，确定各种方案的现实可行性及优缺点，以供决策者参考。
第三种观点认为，政策评估是对政策全过程的评估，既包括对政策方案的评估，也包括对政策执行以及政策结果的评估。
它是用系统的方法分析、评价政策干预的战略、设计、执行过程和效果（Rossi、Freeman，1999）。
不少国内学者支持第一种观点，认为政策评估的着眼点应该是政策效果。
张金马（1992）指出“公共政策评估就是对公共政策的效果进行研究”；刘斌、王春福（2000）对政策评估的定义是，“在政策执行之后，依据一定标准对政策效果、政策效益、政策效应所作的考察，并进而对政策所做出的分析”；陈振明（2004）也将政策评估界定为“对政策的效益、效率、效果以及价值进行判断的一种评价行为”。
基于完善特定政策并为相关政策的制定提供借鉴的根本目的，本书认为，政策评估是在特定政策开始执行后，对其设计、执行、效果和成败原因进行系统分析和评判，以便为完善该政策和制定相关政策提供依据的行为。
需要指出的是：
首先，对某一政策的评估往往是一个多次的、持续的过程，未必在政策终结后进行，尤其是对于中长期性质的政策。
政策开始执行后就会逐步显现其效果与问题，此时就需要有效的评估以便决定该政策应该继续、调整或终止。
其次，政策评估不能只评价政策效果，知其果还要究其因，这样才能不断积累经验、完善相关的决策制定。
再次，政策的设计、执行和效果等是紧密关联的，评估应该系统地考查它们之间的关联，孤立地评判其中的一点或几点无法有效达到评估的根本目的。
三、政策评估的主体
政策评估的主体包括以下三类：
（1）对象评估。
它是由政策对象通过亲身感受和了解，对政策及其效果予以评定的方法。
应该说，评价一项政策的好坏优劣，最有发言权的是政策作用的对象，因此，充分听取不同政策承受对象对特定政策的意见，加以综合，往往会形成对政策比较准确的评估。
（2）专家评估。
组织专家审定各项政策，最后形成鉴定成果，也是政策评估常用的有效方法之一。
一方面，由于专家的知识专业性，对某项政策的效果可以分析得比较透彻，视野也比较开阔，往往有较强的科学性。
另一方面，专家没有参与政策的制定，评估也显得较客观。
不利因素是专家的观点容易受政策制定者和评估组织者观点的影响。
（3）自我评估。
这是指政策制定及执行人员对政策的效果和实现预期目标的进展情况进行评估。
这种方法的优点是政策制定及执行人员参与了政策的制定或执行，比较了解情况，问题看得准，故也易于得出可信的结论。
不利因素是政策制定者或执行者的部门或个人利益观可能会影响政策评估的公正性。
第二节政策评估模式的演进与惯用模式
一、政策评估模式的演进与分类
根据评估模式的演进历程，Guba和Lincoln（1981）把政策评估划分为四个阶段。
20世纪30年代前为第一阶段，以测量为主要模式，评估者扮演技术人员的角色，他们需要掌握各种可能的测量工具，以提供所需的调查数据。
从20世纪30年代到1967年为第二阶段，此时的政策评估通过描述的方式揭示政策执行效果的优劣。
第三阶段从1967年到20世纪80年代早期，评估模式以判断为主。
评估者不再简单地测量和描述政策效果，而是根据调查、实验并结合自身的经验进行判断，从而影响决策制定和政策调整。
总的来讲，前三阶段的评估模式偏重于定量研究，并且趋于管理导向，缺乏对统治阶级以外群体利益的关注。
Guba和Lincoln提出的第四阶段的评估模式开始运用定性研究的方法，认为评估不能仅注重技术精良和方法严谨，更要具有实用价值；同时，评估者意识到价值的多元性，逐步关注政策对不同利益相关者的影响。
Rebien（1996）基于Shadish（1991）等人的理论，认为政策评估活动经历了三个主要阶段。
在第一阶段，自然科学的研究方法被引入社会科学，政策评估往往是定量化的，目的在于解决社会问题，评估者也会参与决策制定和调整。
在这一阶段，人们假设政策干预可以随时调整并立即生效，因此认为评估的结果会直接影响实践。
到第二阶段，人们认识到变革不是一朝一夕的事情，评估者也难以影响决策制定，因此评估成功的关键在于其结果能否被采用。
为此评估活动邀请更多的相关者参与以便增加评估结果的使用率。
第三阶段综合了前面两阶段的特点，既承认社会变革是逐步产生的，又认定评估将在长期的变革与政府干预中扮演重要角色。
它强调评估的系统性和全面性，认为政策评估应该综合评估者的经验判断和相关者的感知，评估结果则既可以改进现有政策也可以增进学习以促进将来的决策制定。
具体的政策评估模式多种多样，并且还没有统一的分类标准，比较有代表性的是Vedung（1997）的分类，如图1-1所示。
图1-1Vedung（1997）的评估模式分类模型
现有政策评估模式大体可以概括为对比分析、同行评议和综合评估三类。
对比分析模式涵盖的范围比较广，既包括政策实施前后的情形对比、是否施行该政策的效果对比，又包括实施该政策的成本—收益对比，以及政策目标与政策效果的对比等。
在具体的方法上包括实验法（一种是比较政策实施先后的差异，一种是比较受到政策“刺激”和没受到政策“刺激”对象的不同）、成本效益分析、成本效能分析、目标达成模式等。
该类评估模式大多采用定量或半定量的方法，以证明政策效果。
同行评议法较多采用定性分析的方法，通过专家的经验判断评价政策效果。
综合评估往往采用定性和定量分析相结合的方法，不仅对比政策实施后的指标变化及目的达成情况，也综合评判政策对社会的整体影响，而且不仅站在政策制定者的角度评价政策效果，还会考虑到政策对其他利益相关者的影响。
二、政策评估现有的惯用模式
按照评估的动机，现有的政策评估大体可以分为两类：
一类是政府或政策制定部门组织的评估，旨在了解政策的实施效果，为评价当前工作效果或为今后的政策制定提供依据。
它可能是政府部门的自评估，也可能是请学者和专业机构进行的评估。
另一类是学者或其他人士出于研究目的而进行的评估活动，旨在总结相关规律或完善相关理论等。
目前第一类评估较为普遍。
OECD（经济合作与发展组织）国家大多对所制定的政策进行评估，也发布了众多的评估报告。
世界银行和亚洲开发银行等国际组织也都设有运行评估部（OperationsEvaluationDepartment）之类的部门，以便对其所颁布的援助发展中国家的政策和资助项目进行评估，并且发布了一系列评估标准和评估报告。
这些评估大多以对比分析为主，采用定量分析的方法，通过对项目实施前后经济指标的比较来判断相关政策的效果。
也有一些列出了评价指标体系，按照指标打分进行政策评价。
我国的政策评估大多采用建立指标体系的方式，其中部分指标通过调查和统计数据得到，另一些不易获得实际数据的指标则采取专家打分的方式。
与政府和机构组织的评估相比，个人进行的评估研究模式更为多样化。
有些评估者通过定性的方式描述政策影响以评估其效果；有些评估者通过实验或准实验的方式比较政策的效果；也有一些评估者采用了较具创造性的评估者方法，如Ewald和Gerhard（2006）用系统模式对奥地利的林业政策进行了评估，分析了系统中不同主体的作用。
但与理论研究相比，实际评估中采用的模式较为单调，且受到数据等的限制，很多评估无法按照既定模式进行。
第三节政策评估的模型与方法
一、政策评估的模型
瑞典学者Vedung在其专著PublicPolicyandProgramEvaluation（1997）中归纳出了10种政策评估模型（如图1-2所示）。
图1-2Vedung的10种政策评估模型
其中的同行评议模型适用于专业性非常强的某些具体政策，这类政策评估必须根据专家的意见制定特殊的评估标准，而不能简单地套用一般的评估准则，这样的政策评估工作往往要由同行专家来进行。
一般的政策评估都应征询专家的意见，不过在制定评估标准时只将其作为参考。
余下的九种模型归为两大类。
需要考虑政策的经济效率，即进行投入（政策成本）和产出（政策效果）分析的属于经济模型（具体又可以分成三类）；而效果模型只将政策实施后产生的实际效果作为评估标准。
依据出发点不同，可以将对政策实施效果进行的评估分为两个体系：
基于目标的评估和基于需求的评估。
前者是从政策制定者的角度来考虑问题，包括目标获取模型、侧面影响模型、自由目标评估模型和综合评估模型；后者则是基于需求的评估，包括用户向导模型、相关利益人模型和政策委员会模型。
在基于目标的四种模型中，目标获取模型将政策目标作为评估时所持的唯一标准。
Vedung认为，这种评估方法需要做两个判断：
一是政策或计划是否在目标领域内取得了预期的结果；二是所观察到的结果是否是该政策作用的产物。
目标获取模型可以说是一种最简单、最直观的政策评估模型。
但这个模型只将政策实施后在目标领域内取得的结果作为评估对象，而实际上政策的外部效应是很强的，政策评估者如果要客观、全面地评估一项政策，就必须将这些外部结果都纳入考察范围，包括“非预期的侧面影响”。
对于这些预料之外的结果，有些是难以评估的，Vedung建议将可以评估的给予评估，而将难以评估的“侧面影响”列举出来，留给决策者（或其他用户）自行考虑。
侧面影响模型将政策效应划分为若干层次，有意突出了目标领域内的政策效应，有一定偏见，为了消除这一缺陷，有人提出了自由目标评估模型，让评估者在没有任何目标约束的条件下开展评估，全面考察政策实施带来的方方面面的影响，不论它们是预期的，还是非预期的。
该三种模型只将政策实施的最终结果作为评估对象。
但如果将政策的制定、实施和成果三个阶段都纳入评估范围，就是Vedung所归纳的“综合评估模型”。
其优点在于将政策的制定和实施过程都纳入评估范畴，从阶段上较完整地对政策进行评估。
用户向导模型着眼于政策接受者或者称作“政策用户”的目标、需求、关注点等进行评估，在西方国家的公共政策评估中得到了广泛应用。
相关利益人是对政策用户的发展，除了政策作用对象外，还包括政策决策者、实施者以及其他相关人员。
在瑞典，由相关利益人组成特别政策委员会，对他们所关心的政策自行评估；在北美，则由评估专家做评估，相关利益人仅是采访或咨询对象。
“相关利益人模型”不局限于既定的政策目标，而是综合考察政策制定、实施过程中涉及的各种因素，并且将相关利益人各方面的意见都反映到评估报告之中，对政策制定方有较全面的反馈。
其缺陷是很难将方方面面的意见收集齐全，此外，目前国内外也没有对“相关利益人”给出明确的界定。
因此，相关各方不可避免存在过分强调自己利益的倾向，导致得到一些矛盾的反馈意见。
二、政策评估的具体方法
评估模型建立后，需要选择具体的操作方法。
目前常用的政策评估方法包括定性方法和定量方法。
常用的定性分析方法有同行评估、问卷调查、访谈及案例研究等；定量分析方法有数据统计分析、投入—产出分析、多目标综合评估法等。
由于各种分析方法都有一定的适用性和互补性，在实践中一般是根据具体情况选择一种主要的分析方法，同时结合其他分析方法进行综合评估。
（1）专家评议法。
有几种不同做法：
专家会议法，即组织专家面对面交流，通过讨论形成评估结果；Delphi法，即征询专家，用信笺背靠背评估、汇总、收敛等。
专家评议的优点是操作简单，可以利用专家的知识，结论易于使用。
缺点是主观性比较强，多人评估时结论难收敛。
一般用于定性分析。
（2）前后对比分析法。
通过比较分析政策作用对象在政策执行前后的变化状况，来判断政策效果。
前后对比分析法可细分为四种，即简单前后对比分析法、“投射—实施后”对比分析法、有无对比分析法和控制对象—实验对象对比分析法。
由于政策作用对象的变化不仅与被评估的政策有关，还往往与其他因素相关，因而致使被评估政策的效果难以从政策作用对象的变化中分离出来，这就大大降低了政策评估的准确性。
（3）个案研究分析方法。
个案研究分析方法也是定性分析法中经常用到的政策评估方法，一般选取受政策影响的典型性案例，通过对案例进行详细调查分析，找出该案例受政策影响情况，具体评述其对政策的反应，然后由个体推广到一般情况，找出政策的优缺点，提出改进建议。
（4）成本—收益分析方法。
测定政策的收益和成本及其比较是成本—收益分析方法评估政策效果的核心。
政策成本包括政策制定费用、执行费用、新旧政策交替过程中造成的效益损失和社会浪费，政策效益则包括政策目标效益和非政策目标效益。
由于对政策成本和收益的测度一般比较困难，该方法仅适用于政策执行过程简单且涉及面较小的情况。
（5）多目标综合评估法。
多目标综合评估法是一种能够对政策效应进行多目标的定性分析和定量评估的方法。
运用该方法进行政策评估的步骤主要包括选择评估目标、确定评估标准和指标、确定指标的权重、构建综合评估模型等。
确定评估指标及权重是该方法的关键。
由于该方法充分考虑了政策效果的系统性和层次性，并且能够随着系统结构的变化而较方便地增减指标类和指标项，使得多目标综合评估法具有较好的适应性，目前在实际中应用较多。
第四节政策评估的评判标准与方法标准
一、政策评估的一般标准
评估标准的选取直接影响评估结果，同时也反映了评估者的价值取向，但更多考虑的是指标的系统性、客观性和数据的可得性。
美国政治学家P.狄辛将人类社会所追求的五种理性作为政策评估的一般标准：
一是技术理性，即政策是否对社会产生效用而解决人类所面临的科学技术问题；二是经济理性，即政策是否对社会有效益，以最低的成本提供最大的效益，或者提供固定的效益而消耗最低成本；三是法律理性，即评定政策是否符合成文的法律规范和各项先例，以探讨政策在社会上的合法性问题；四是社会理性，即断定政策的内容是否与社会上流行的规范与价值一致，分析政策在维持社会制度中所做出的贡献；五是实质理性，即政策是否追求前述四种理性中的两种或两种以上内容，以及能否解决各项理性之间的冲突问题。
威廉·邓恩在其著作《公共政策分析导论》中，将政策评估标准分为六类，即效果、效率、充足性、公平性、回应性和适当性。
国内学者将政策评估标准概括为以下八种：
一是工作量，即在政策执行过程中资源投入的质量及分配状况；二是绩效，即政策的实际产出是否达到了预期的结果；三是效率，即工作量与绩效之间的比例；四是充分性，即政策目标实现后所能消除政策问题的程度；五是公平性，即政策成本与利益在不同集团中分配的公平程度；六是适当性，即政策的各项目标在现实社会生活中的重要性以及确定目标的各项假设的可靠性；七是执行力，即探求影响政策成败的原因，进而导致因果模型的构建；八是社会发展总体指标，即通过对政策执行前后社会发展总体状况的变动的描述和分析，衡量政策给社会带来了什么影响，造成了什么后果。
国内学者陈振明认为，一般而言政策评估有生产力标准、效益标准、效率标准、公正标准和政策回应度五个标准。
表1-1是国内外学者对政策评估标准的相关研究。
表1-1国内外政策评估标准的相关研究
国外相关研究
国内相关研究
E.A.Suchman（1967）
绩效充分性、投入、绩效、效率、过程
陈振明
生产力标准、效益标准、效率标准、公正标准和政策回应度
E.J.Bennet（1979）
投入、影响、质量、效率、效果
孙光
（1998）
政策投入、政策效益、政策效率和政策回应程度
Nakamura&Smallowd（1980）
目标实现程度、效率、民众满意度、回应性、系统的维持
郭峰
（2005）
政策制定：
合理性、科学性、完整性、必要性、有效性
政策实施：
政策认同度、实施主体能力、执行对象能力、监督机制
政策效果：
预定目标的实现程度
WilliamDunn（1994）
效果、效率、充足性、公平性、回应性和适当性
綦良群
（2005）
效果、效率、效应
Vedung（1997）
效果、产出、效率
管书华
（2004）
政策制定：
科学性、合理性、协调性、合法性
政策效果：
效率
韩萍
（2005）
政策效果：
既定目标的实现程度、效应、政策对象的看法和意见
从表1-1中可以看出，国内外学者对政策评估的标准的看法不尽相同，但都对效果标准、效率和效应标准予以了充分关注。
相应的指标体系可参考表1-2。
表1-2政策评估指标设计主要考虑的问题
评估阶段
评估标准
评估指标
政策制定
合理性
目标设置是否合理
完备性
内容是否完整、与其他相关政策是否冲突
科学性
制定程序是否科学、采用的方法及手段是否科学
对政策对象的了解程度
续表
评估阶段
评估标准
评估指标
政策执行
有效性
执行力度、政策作用对象的认同感及回应度
合理性
执行机构的权限、监督机制的设置
科学性
执行的手段是否科学
政策效果
效果
既定目标的实现程度、政策对象的满意度
效应
对相关政策目标的作用
二、政策评估方法适当性的评判标准
政策评估是对政策设计、执行、效果和成败原因进行的系统分析和评判，目的在于完善该项政策，并为新的相关政策的制定提供借鉴。
因此一个好的政策评估应该利用恰当的标准，选用客观、充分的证据，系统地分析和评判政策的效果和产生该效果的原因，并给出清晰、可靠的结论及有效的政策建议。
选择评估模式时应该确保上述政策评估的目的可以实现。
多边开发银行评估合作组织认为，好的评估模式应该满足评估标准中肯、能够有效执行、评估目标明确且通过所选方法可以实现该目标等条件。
Nagel（2002）认为，好的评估模式应该有效、有用、有新意并且可行。
Matthijs和Cees（1999）提出的模式选择标准包括有效性、可行性和普遍适用性。
此外，透明度、可测量性、明确每个参与者的责任和义务等同样被认为是政策评估模式选择时所需考虑的因素。
基于对现有政策评估实例的分析，本书作者认为，除了有效性、可行性、充分性等被学者们广泛提到的评估标准外，选择评估模式时还应该考虑以下因素。
1．适用性
被选择的评估模式首先要满足适用性原则。
政策评估既是一门科学，也是一门艺术（Sanderson，2000）。
没有两个评估面对的是完全一样的政策和相关背景，所以不存在通用的、万能的评估模式和方法。
正如Rossi和Freeman（1999）所指出的，一个好的政策评估必须适合它所处的环境，针对评估要达到的目的给出可信和有用的分析和解释。
因此，评估者需要根据实际情况去选择与评估目标相匹配的方法（Clarke，1999；OECD）。
此外，选择时还必须考虑到模式的条件适用性，即在该评估的各项条件约束下该模式是否适用。
时间、预算、伦理问题等都是模式选择时不可忽略的因素（Pitcher，2002），有些模式虽然适用于要评估的政策和目的，但可能在现有的条件约束下难以完成。
2．系统性
复杂性是政策的一大特征，政策环境、政策问题、解决方案、利益相关者及其之间的关系等都越来越复杂。
同时，政策之间往往有着紧密的关联，即便是独立的政策也可能是由不同的管理部分共同制定的，因此不能简单地把政策看成一个个独立体。
不仅要以系统的观点来看待政策，而且政策评估也应该是系统性的思考。
Pitcher（2002）也提出，“与多项实证评估的叠加相比，一套系统方案能够促成更全面的判断”。
政策评估应该系统考查政策实施的整体效果，综合分析对社会和各类利益者相关者的影响，不仅要注重评价政策的预期效果，也要衡量非预期影响；不仅要考虑到政策对目标群体的影响，还要考虑到对非目标群体的影响。
同时，应该以系统的方式、全局的眼光，综合分析上述政策效果和影响，权衡政策的利弊得失，以便做出科学的判断，为后续政策制定提供借鉴。
3．适当的价值导向
价值导向问题也是评估模式选择时不可忽略的重要因素。
评估者在设计和执行政策评估活动时不可避免地带有评估者的价
升级会员 