NGO第三方评估报告.docx

1、NGO第三方评估报告NGO第三方评估报告福特基金会“提高高校贫困生个人能力项目”评估报告(2004)作者：rwc 上次修改时间: 2006-09-14 16:27 康晓光中国科学院国情研究中心康晓光中国科学院国情研究中心2004年11月7日 目录 一、概述二、评估框架三、评估：设计阶段四、评估：执行阶段五、学生参与问题已经取得及可以预见的效果七、存在的主要问题八、分校评估九、关于奖金发放的意见 一、概述 福特基金会委托本人对“提高高校贫困生个人能力项目”进行评估。但是福特并没有指定一个样本，也没有提出具体的要求。秉承福特一贯的作风，它要求本人自主决定报告的形式和内容。所以，这份报告是一个富有个

2、人色彩的文本。 为了获得完整的印象，考察对象包括项目资助单位（福特基金会）、项目执行机构（环发所）和项目受益机构（8所项目院校）。当然，考察的重点是项目受益机构。 2004年8月下旬，本人与福特项目官员何进、项目执行机构的项目负责人郝冰进行了会谈。随后，又与项目执行机构的项目负责人郝冰、项目管理人员王承波进行了会谈。 2004年9月5日至9月11日，对贵州师大、贵州民院、黔南民院进行了实地考察。9月12日，结合贵州考察与何进进行了沟通。2004年9月14日至9月20日，对云南师大、大理学院进行了考察。2004年9月21日至9月26日，对广西师院、广西民院、广西师大进行了考察。 对项目院校的考察

3、包括“阅读文献”和“实地调查”。阅读的文献包括：项目计划书、会议纪要、阶段性总结、自办报刊、活动通知等等。实地调查包括：座谈、走访（可见的硬件设施，如培训基地、项目办公室，与各级项目负责人和对方安排的学生谈话）、在校园内对学生和教师随机拦访。 项目学校的调查对象包括：学校分管领导、总项目和子项目的负责人、参与项目的教师、参与项目的学生、未参与项目的贫困生和非贫困生。 2004年10月5日至10月30日，在北京撰写评估报告。 返回目录 二、评估框架 最简单的评估方法是拿着项目立项计划书，到项目学校去看一看当初的计划指标是否达到了。但是，本人没有这么做。这是一个教育领域中的扶贫项目，具有自己的特质

4、，所以评估必须有针对性。 简而言之，在这项评估活动中，本人所关注的问题是“需求的优先性”、“设计的有效性”、“命中率”、“资源利用效率”、“项目的效果”。这些问题出现在项目周期的不同阶段，例如，需求的优先性和设计的有效性问题出现在设计阶段，命中率和资源利用效率问题出现在执行阶段，而效果问题既体现在执行过程中，也体现在项目结束之后。 首先，在设计阶段，本人关注的问题是，项目的目标群体是谁？或者说，谁是这个项目的受益者？项目要满足他们的哪些需求？对于他们来说，这些需求是最重要的和最紧迫的吗？这些问题构成所谓的“需求的优先性问题”。项目包含哪些内容或子项目？这些子项目能够有效地满足目标群体的需求吗？

5、这就是所谓的“设计的有效性问题”。其次，在执行阶段，本人关注的问题是，资源是否落到目标群体头上？有没有流失？或者说，不该得到的人是否侵占了项目的资源？这就是所谓的“命中率问题”或“瞄准机制问题”。紧接着的问题是，那些落到目标群体头上的资源是否得到了有效利用？要知道免费的东西往往得不到珍惜！这就是所谓的“效率问题”。最后，本人关注的是所谓的“效果问题”，它包括已经取得的效果和可以预见的后续效果。 本报告就是对上述问题的回答。 返回目录 三、评估：设计阶段 确定目标群体及其需求 该项目的目标群体是高校贫困学生。在目标群体的具体确定上充分体现了优先性原则：第一，项目学校所在的贵州、云南、广西是中国最

6、贫困的地区；第二，项目学校属于学生贫困问题最严重的学校，贫困生比例最高，财政投入最低，获得社会捐赠机会最少；第三，少数民族学生最集中；第四，师范生最集中；第 五，在项目学校的贫困生中，少数民族、女生又会得到优先资助。 紧紧围绕贫困生这个中心，在各个项目学校进行需求调查。设计团队深入项目学校与贫困生进行交谈。项目学校也对本校的贫困生进行了需求调查。最终确定的需求涉及到“个人”、“人人”、“人地”三方面的能力。这些需求针对性很强，既是贫困生紧迫需要的，又是供给不足的。 设计满足需求的方式 为解决贫困学生的问题，教育部门已经采取了一系列措施，如加强思想教育，帮助贫困生摆脱自卑心理，树立对前途的信心；

7、加强心理健康教育与辅导工作；努力提供和创造各种条件，为贫困生开拓社会实践领域，如：青年志愿者活动、社团活动等；采取各种措施，解决贫困生的经济困难，如奖、勤、助、补、缓、减等措施；努力引进社会奖学金。但是，这些措施和行动并未能解决问题。为此需要“额外的努力”，这些“额外的努力”构成了福特项目的内容。 针对贫困生存在或面临的问题，设计了包含教学、信息与服务、社团活动共三个领域的项目组合。教学领域包括：英语培训、计算机培训、普通话培训。信息服务领域包括：心理咨询、勤工助学、就业指导等。社团活动包括：结社、资助学生社团、开展社会实践、参与项目管理等。 建立总体管理框架 在明确了“问题”、“问题的成因”

8、、“已有的解决问题的努力”之后，设计团队找到了“问题得不到有效解决的原因”，进而设计出了针对性极强的“解决方案”。在此基础上，设计团队确立了项目的总体管理框架，明确了福特基金会、环发所、项目学校之间的权利和义务关系。这一切体现在环发所的立项报告和项目学校的项目计划书之中。 考虑到各个项目学校的实际能力，设计团队设计了项目汇总表、项目活动方案实施时间表、资金预算表。这些表格的作用一是规范项目计划书，二是为各个项目学校编写计划书提供清晰的指南，三是为后续的指导、监督、评估提供了依据和便利。 强调统一、规范并不意味着项目的设计和管理风格是僵死刻板的。实际上，在设计和执行阶段，福特都充分尊重项目学校的

9、自主性，鼓励它们积极探索，在具体管理方法、运行机制等方面不拘一格大胆创新。在项目周期的所有阶段，“参与”、“创新”这两大原则都得到了充分体现。 概括说来，在这一阶段，清晰地确定了目标群体及其需求集合，设计了具有针对性的项目组合，建立了有效的管理框架。这一阶段富有成效的工作，保证了项目的受益者是最困难的群体，而项目所满足的又是他们最紧迫的需求。 返回目录 四、评估：执行阶段 本节的讨论局限于项目学校层面，不涉及项目执行机构（环发所）。 项目管理机构的建设和运行 总的来看，各个项目学校的管理体制各具特色。各个项目学校在管理体制方面的差异主要表现在两个方面：一是项目负责人与学校行政体制的关系；二是学

10、生参与管理的程度。 本人把现存的项目管理体制归结为三种模式： “行政主导模式” 在该模式中，学生处或团委主管项目，对应的分管校领导是项目的最终负责人，贫困生对项目的运行缺乏影响力。这种模式便于项目与学校日常工作的整合，在某种程度上也有利于项目的持续发展。但是，其缺点是受人事变动的影响较大，而且项目管理者很可能缺乏激情，或是由于事务缠身，投入不足。大体说来，广西师大、广西民院、广西师院、云南师大、大理学院可以归入这一模式。 “强人主导模式” 在该模式中，某个有影响力的个人（退居二线的领导）控制项目，项目独立于对应的职能部门，得到某些校领导的支持，贫困生对项目的运行缺乏影响力。这种模式不利于项目与

11、学校日常工作的整合，而且由于难于得到行政体系的支持，项目的可持续性也受到威胁。该模式的长处是项目负责人有热情、投入大、有能力。贵州师大、黔南民院属于这一模式。 “教师/学生主导模式” 在该模式中，有威望的教师组织普通教师和学生管理项目，项目独立于职能部门，但是可以获得校领导的支持，贫困生对项目的运行具有较大的影响力。这种模式既可以发挥NGO的优势，又可以借助学校行政体系的优势，能够把项目和学校的资源很好地整合起来。这种模式的管理者往往富有激情和强烈的责任心，而且对项目的原则有深刻地体认，也容易获得资助方和项目执行机构的同情和认可。该模式的缺点一是对个人的依赖太大，二是存在脱离主流体制的风险。贵

12、州民院属于这种模式。 中期会议对各个项目学校的项目管理结构产生了巨大的、积极的影响，表现为各个学校普遍强化了学生参与的广度和力度。这也告诉我们，及时、正确地指导可以有效地改善项目的实施效果。但是，恰恰在这方面项目执行机构做得不好，因为这类指导太少了，而且往往是太晚了。 瞄准机制 尽管各个项目学校的项目计划书没有涉及“瞄准机制”，但是这种机制确实存在而且富有成效。 在项目学校层面，“瞄准机制”的“要素”或“环节”包括： 广泛宣传； 公开信息； 学生自愿报名参与项目活动； 刚性筛选（是否贫困），即学生处、学生社团、院系根据所掌握的信息审核申请者资格； 其他后备筛选标准，即通过刚性标准筛选的申请者，

13、再根据贫困程度、需求紧迫程度、达标的可能性等进一步筛选； 入选名单公示； 项目实施过程中，随时接受举报，核查后进一步排除。 这套筛选机制非常有效，而且得到了广泛使用，收到了很好的效果。 值得指出的是，一，在前期培训过程中，充分强调了项目的扶贫宗旨，为执行过程中建立“瞄准机制”奠定了思想基础。二，各个学校对项目宗旨的宣传也很到位，几乎随机采访到的每一个学生都知道福特项目的受益者只能是贫困生。三，绝大多数学校都把项目汇总表、项目活动方案实施时间表、资金预算表表都张贴在项目办公室的墙上。各个子项目都能够拿到与自己相关的项目活动方案实施时间表和资金预算表。大部分参与管理的学生知道经费预算。在考察过程中

14、，没有发现刻意隐瞒的现象。其实，“公开”本身就是最重要的“瞄准机制”。 资源利用效率 教学领域 从各项目学校提供的资料来看，项目计划书中的指标（英语四级过级率、普通话达标率、计算机过级率）都达到了，而且大部分学校还是超额完成任务。但是，无论是项目学校，还是本人，都无法确定本项目对这些指标的提升到底做出了多大的贡献。 相对而言，英语培训子项目的资源利用效率最低，普通话培训和计算机培训要好一些。这是因为，客观上英语培训收效缓慢，而计算机和普通话培训具有立竿见影的效果。 由于参加培训是免费的，加之没有任何惩罚措施，普遍存在缺课和半途而废现象。考勤制度不健全。怎么才能珍惜资源？这是一个大问题！ 讲座投

15、入少、受益者多、收效大。 语音实验室和计算机实验室的使用也是个问题。除了贵州民院之外，其他学校都把项目建立的实验室纳入正常教学计划使用，空闲时间（晚上、节假日）用于福特项目的培训。这种时间分配并没有影响福特项目的进行，因为项目的培训属于第二课堂性质。其余时间为“开放时间”。在“开放时间”，有的学校对贫困生免费，有的学校没有优惠。 信息与服务领域 心理咨询子项目是比较成功的，表现为：一，引起各方面对大学生特别是贫困生心理问题的关注，这是被长期忽视的问题；二，培训了一批教师，过去这种培训机会是很少的；三，对学生进行了培训，最有效的形式是讲座，而不是一对一的咨询。考察中发现，心理咨询项目一般不实行“

16、歧视”，没有对贫困生的优惠政策。 勤工助学是非常成功的项目，投入少，效果显著，深受学生的欢迎。培训、颁证、建立供需档案、服务跟踪体系，都是非常成功的做法。 就业信息服务也是很成功的。广西师大、贵州师大的做法都值得总结、推广。 社团领域 社团活动综合提升参与者的“个人”、“人人”、“人地”能力。而“人人”、“人地”能力恰恰是贫困生最匮乏的能力。 这类项目一般由团委或学生社团组织实施。它们很有经验，可谓轻车熟路，所以管理成本低而且收效显著。这类项目往往与学校正常的社会实践活动结合紧密，从而收到优势互补的效果。 返回目录 五、学生参与问题 “参与式”是贯穿始终的根本方法。这不仅是资助方的主观愿望，也

17、是项目的实际状态。 在设计阶段，设计团队深入项目学校与贫困生交谈，各个项目学校对贫困生进行了需求调查。2002年6月，在贵州黔南民院，资助方选择一批贫困学生，对各个项目学校的立项报告进行评比。在编写立项报告的最后阶段，资助方还到各个学校听取贫困生的意见。这些意见对子项目的取舍具有决定性的影响。 在执行阶段，贫困生的“参与”表现在三个层面：一是作为受益者或服务对象参与项目；二是作为具体活动的组织者参与项目；三是作为项目的管理者参与项目。 在贵州民院的项目管理文件中规定，“大山之子”（贫困学生自治组织）处于主导地位，而指导教师处于辅导地位。实际上，学生确实拥有一定的决策权，而且学生也有强烈的主人翁

18、意识，与指导教师的关系也非常亲密、平等。 在中期会议之后，广西民院改组了项目管理机构，建立了与“教工管理委员会”平行的“学生管理委员会”。理论上两者是平等的，当然实际上教师处于支配地位。 其他学校也都吸收学生参与管理工作，但学生处于办事人员的地位。最典型的是云南师大的学生联络员制度。 尽管几乎所有学校都宣称把学生放到核心位置，但实际上学生仍然属于辅助角色。 尽管贫困学生还不能支配该项目的运行，但是在该项目中表现出的学生参与程度却是前所未有的。这种参与也产生了积极的效应。对项目而言，增加了透明度；对学生而言，获得了锻炼机会，也获得少量收入；对学校而言，降低了项目的管理成本，同时满足了资助方的价值

19、偏好。 需要指出的是，项目管理是典型的劳动密集型工作，需要投入大量人力，而贫困学生的工资要求极低，所以利用学生参与管理可以大幅度降低工资支出。这是学校愿意引入学生参与管理的重要原因之一。 返回目录 六、已经取得及可以预见的效果 学生层面 参与项目的贫困学生是最直接的、也是最大的受益者。 通过参加教学领域项目，贫困生的普通话、计算机、英语水平得到提高。通过参加心理咨询、社团活动、社会实践，贫困生的人际交往能力提高。通过参加社团活动和社会实践，提高了服务社会、回报社会的热情、责任感和能力。勤工助学和就业服务项目提高了获取收入、利用就业机会的能力。 监测、统计结果显示，与项目实施之前相比，贫困生的各

20、种过级率、毕业率、就业率都有了大幅度的提高。当然，这种提高与宏观环境的变化、与学校正常的努力息息相关，不能说完全是由项目带来的。 学校层面 观念转变 项目所带来的观念转变同时发生在校领导、管理人员和教师身上。各级教职员工都意识到存在“贫困生问题”，意识到他们是一个具有自身特性的群体，需要更多的关心和更有针对性的支持。毫无疑问，他们观念的转变将对所在学校的贫困生的命运发挥持久而深刻地影响。 机制创新 项目给项目高校的学生工作引入了新的机制和做法，如建立以贫困生为主体的社团、贫困生参与管理。尽管勤工助学、社会实践等都是传统的学生工作内容，但是有意识地、切实地提高贫困生的参与度还是一种新的倾向。福特

21、项目的透明度明显高于以往的同类活动。 资源投入格局变化 关注程度的变化也带来了资源分配的变化。在项目执行期间，贵州省教委明确规定各个学校要提供相当于项目总额8%的配套资金。其他项目学校也有配套资金。而且接受访谈的所有项目学校的领导都表示今后要在资金支出方面加大对贫困生的支持力度。 教师培训 对于英语教师和计算机教师而言，福特项目仅仅扩大了机会，使更多的人能够获得培训机会，或是获得更好的培训。但对于心理咨询而言，则是打开了一扇新的机会之门。项目学校的领导和教师都表示，如果没有福特项目，可能不会安排资金培训这方面的师资。福特项目不但促使学校和教师重视学生的心理问题，也为相应的能力建设做出了贡献。而

22、教师培训具有明显的持久的效益。一届又一届的学生可以从中受益。 硬件建设 对于项目学校，相对于需求而言，硬件配套数量少、质量低是普遍问题。一些新建大学（如黔南民院、大理学院）的教学设施根本达不到大学的标准。这也是它们要求提高硬件支出比例的现实原因。该项目为项目学校建设了语音实验室、计算机实验室，还通过建设子项目管理办公室改善了学生处、团委、教务处等相关机构的办公条件。 黔南民院的校领导表示，用福特项目资金建立的语音实验室和计算机实验室为黔南民院通过教育部的验收，晋级大学行列做出了不可或缺的贡献。 在项目结束之后，在一定的时期内，这些设施将继续发挥作用。 省级和中央教育机构层面 贵州省教委很重视该

23、项目，全力支持，并要求本省的项目学校匹配资金。广西区教委甚至在项目启动之初就召开了经验推广大会。考察过程中，各省区的教育官员均表示很重视项目产生的经验，而且还表示今后将更加重视高校贫困生问题。 总体评述 福特把自己对项目的要求归结为三个词组：创新、可推广、可持续。这已经是所有项目管理人员耳熟能详的口号了。 该项目的创新性是显著的。福特本身主观上追求创新，也鼓励各个项目学校创新，客观上也收到了实效。例如，各个项目学校的管理模式和项目构成各有千秋。 该项目的可持续性也是明显的。上述效果基本上都是可持续的。 该项目的可推广性也是明显的。项目建立的理念、机制、模式，在中国大陆的其他高校里，完全具有推广

24、的可能性。不存在“刚性”的推广障碍。也就是说，能否得到推广取决于教育管理机构和其他高校的意愿。 返回目录 七、存在的主要问题 项目学校层面 权力关系不顺 权力关系的含义：一是项目负责人与职能部门负责人的关系；二是项目涉及到多部门，各部门如何协调行动的问题。 存在多种职能部门与项目负责人的关系。各有利弊，不存在最好的模式。对各种模式存在的弊病，应该设计有效的对策。但是实际上设计阶段并没有这类预案，执行过程中也没有采取有效的应对措施。 人事变动频繁 实事求是地说，项目执行机构确实很难控制项目学校的人事变动。但是，应该督促项目学校做好交接工作，应该对新的项目管理人员进行培训，而且培训不合格的新管理者

25、不得上岗。这应该作为“硬条件”规定下来，并得到不折不扣地贯彻执行。 由于人事变动频繁，交接随便，新手缺乏培训，相当比例的管理人员对该项目的宗旨缺乏基本的了解，因而也很难准确地贯彻项目计划书。 三个领域之间的整合程度过低 普遍的状况是，三个领域各自为战，彼此合作很少。而且各个子项目之间也是如此。 理想的模式应该是：以学生参与的项目管理机构为中心，以学生社团为项目运行的公共平台，运行培训、信息与服务、社会实践项目。学生社团建设应该放在项目管理工作的核心。 资源配置与使用方式不尽合理 硬件支出过多，教师拿到的培训费过多，而用于信息服务和社团活动的费用过少。 例如，完全可以建立贫困生个人账户制度。这样

26、一来，贫困生可以自主选择校内和校外商业机构开办的培训课程，费用由福特项目支付。这样可以使更多的贫困生受益。也可以改善瞄准机制，避免非目标群体分享有限的资源。其实，学生们也提出了类似的要求。 当然，学校的直接利益体现在硬件、培训费之上。在现行体制下，为了获得项目学校的支持，对学校的利益做出必要的让步也是可以理解的。 社团投入比例低，但使用又过于集中。只有为数不多的社团能够使用福特资金，每个社团获得的资金支持平均为3万元/每年。校内其他社团获得的经费支持平均只有几百元，至多也就是几千元。获得资助的社团，项目运行期间轰轰烈烈，但资助一旦中断很可能就偃旗息鼓。 预算执行不严谨 项目学校的经费支出滞后于

27、预算是普遍现象。有的学校误差高达1/3。教师培训执行情况最差，原因是扩招之后，教师紧张，排不出时间参加培训。有的学校打算“细水长流”，有意节省经费，“以便实现项目的可持续发展”。由于得到结余资金不返还的承诺，既没有突击花钱的压力，也没有严格执行预算的压力。 无论如何，预算执行不严格都属于项目失败的特征。预算不能很好执行，无非两种原因，一是计划不周，二是执行不力。有人说，钱花得慢，那是因为我们节约用钱，所以应该鼓励。但是，要节约，也应该在预算阶段考虑。如果对一个为期两年的计划都考虑不周，那只能说是计划能力太差。 进展不平衡 各个学校之间不平衡。既有广西师大、贵州民院、贵州师大这样进展良好的学校，

28、也有大理学院这样混乱不堪的学校。本人建议大理学院的剩余款项不要再拨了，最好是作为奖金发给其他学校。 同一学校内，各个领域或子项目之间不平衡。即使是在整体表现最差的学校中，也有个别比较突出的子项目，例如大理学院的普通话培训子项目。 广西民院的不平衡甚至表现在项目设计之中。该校只有教学领域，没有信息与服务领域和社团领域。 对总结和推广重视不够 这是个成功的项目，应该给予严肃认真地总结和推广。项目计划中设计了一个具有此类功能的子项目（广西民院）。然而，广西民院显然不具备这种能力，而且与目标的价值相比1万美元的资助规模也为数太少。 毫不夸张地说，在我所参与或考察过的类似项目中，该项目是最成功的。正因为

29、如此，总结和推广就尤为重要。所以，在此建议福特重视这一问题。 返回目录 八、分校评估 本节对8所项目学校的项目执行情况分别进行简要评价。 本人采纳的评价指标包括：1、总体管理模式；2、项目执行机构与职能部门的整合程度；3、学生参与项目管理的程度；4、管理人员的稳定性；5、档案管理水平；6、三个领域进展的平衡性；7、命中率；8、资源使用的有效性；9、创新性；10、可持续性。 除“总体管理模式”之外，其余指标的赋值均为“高”、“中”、“低”。“高”、“中”、“低”是8所项目学校相互比较的结果。 评价的程序为：将某一评价指标所指示的活动或效果，在8所项目学校之间进行比较，据此将项目学校分为三等，最好的学校赋值为“高”，其次为“中”，最差为“低”。评价结果汇总于表1。 本节也对子项目进行了评估。这种评估也是8所项目学校之间横向比较的结果。评选出的“领先子项目”列于表1中。 表1：项目学校评估指标一览表 总体管理模式 项目执行机构与职能部门的整合程度 学生参与项目管理的程度 管理人员的稳定性 档案管理水平 三个领域进展的平衡性 命中率 资源使用的有效性 创新性 可持续性 领先的子项目 广西师大 行政主导型（典范） 高 中 高 高 高 高 高 高 高 贫困生就业指导与服务志强社 广西师院 行政主导型 高 中 低 中 高