第十一章 评估研究方法.docx

1、张晓林：信息管理学研究方法，四川大学出版社，1995第章评估研究方法评估研究又称评价研究，是采用系统严格的研究方法和过程来评价社会项目效果的一种方法，是社会活动和社会科学研究的一个重要部分。它综合利用多种研究方法，与社会项目规划管理过程有机结合，对社会项目管理和社会决策有着重要的意义。11.1评估研究方法的基本概念11.1.1评估评估（Evaluation）是对一项社会项目的状态、尤其是它实现既定目标的程度进行测量和评价的过程。（1）评估研究的社会项目观在评估研究中，“社会项目”泛指有组织有目的的任务与行为集合，它们往往是在特定社会背景下为制造某种预期效果而采取的行动，主要有以下类型：a. 针

2、对某个具体需要、在某个短暂时期内按照某种临时确定的行为方式进行、组织和参与的人员都不长期固定的活动，例如信息用户教育月，科技信息支农支边行，质量大检查活动，愉快教育活动等。b. 针对某个较稳定的需要、在较长时期内按照比较稳定的行为方式持续进行、且往往有较明确的组织管理体系的项目，例如国家星火计划、文献信息机构资源共享项目、救助失学儿童的希望工程、培养年青科技人才的跨世纪优秀人才项目等。c. 针对某个长期需要、在长时期中按某种相当稳定方式进行，且有与之配套的组织结构的活动，它常常体现为一定的机构及其目标和任务集合。可以说，我们任何一个社会机构都属于这类社会项目。在评估研究中，任何社会项目都是且只

3、是为了特定的社会需要和效果而采取的行动，因而自然地必须以它实现预期效果和满足社会需要的程度来对它进行评价。社会机构也只是在一定时期内完成一定社会活动来满足一定社会需要的手段，因此也应摆脱机构具体形式和固有工作对社会需要和相应目标的掩盖和局限，根据社会的需要（而不是根据机构本身的需要与习惯）来评价机构及其所进行活动的真实效果。（2）评估活动评估是管理工作的一个重要组成部分，是实现控制的基本手段之一。当人们根据一定社会需要和环境条件为一定社会项目制定了目标和计划、并按照该计划来实施该项目后，人们需要利用专门和规范的方式来检查评价它的运行结果。从人类有组织活动的第一天起，人类就开始了对活动项目的评估

4、.在现代管理中，评估更成为管理者规划和控制社会活动的基本手段，贯穿于各类社会活动和生活过程之中，例如工作总结、目标考核、评比、项目验收鉴定等，都是不同形式的评估。通过评估，人们希望：保障社会项目按照顶期计划进行；确认社会项目目标的实现程度;确认社会项目方式方法的效率效益；探讨社会项目管理的有效方法；促进和保障对社会项目及相应的社会资源配置做出正确和及时决策。（3）传统评估方式传统地，人们主要利用以下方法来进行评估：a. 工作人员的报告。工作人员指组织实施和管理社会项目的人员，他们在项目的各阶段主动或被动地向有关各方提供报告，以描述该项目的状态和结果，例如工作文件，统计报表，工作总结等。由于工作

5、人员对项目的细致了解，这类报告可以及时和定期地反映项目详细进程和状态，可以提供具体、持续、系统的结果数据，可以揭示项目组织管理和进行中的内部活动和问题，还可作为自我评估来对项目进程进行控制。但是，由于工作人员对该项目所承拒的责任及相应的利益束缚，他们容易“自然假定社会项目的成果或高估这些成果，忽略或拒绝承认所存在的问题，或者强调外界的、经济的或技术的原因。b. 被服务者的报告。被服务者指有关社会项目的直接对象，例如信息服务用户，消费者，课题被资助人，公共服务接受者等。被服务者报告指他们有意无意提出的关于社会活动过程和效果的意见，或专门对他们进行的有关调查。例如文献信息服务机构的用户文献获得率调

6、查，信息咨询服务中的用户满意度调查，商业机构的顾客意见表，被服务者向服务者、大众媒介、政府机构，甚至执法部门提出的申诉等。这类报告生动具体，能从社会需要和社会效益角度评价社会项目，也能揭示产生问题的实际过程和初步原因。但它们往往很零散，不一定能及时获得，可能缺乏代表性，往往不能充分揭示问题的原因。C.上级视察。上级视察或检查是领导部门对所管辖领域的社会项目或机构进行了解评价的常用方法，简单易行，而且比一般文件报告和统计数字更能接触实际的具体的活动和结果，在理想情况下也更易从社会需要和社会效益角度来观察和评价社会项目，上级往往还能更方便地索取相关资料以全面了解社会项目，但上级视察时问短暂，只能直

7、接接触社会项目中极少部分活动和结果，难以全面系统地进行了解和评价。而且，许多社会项目涉及较多专业知识、技能和组织管理细节，上级领导难以在短时期内对其过程和结果充分理解，也就谈不上准确评价。还需指出，上级视察的具体过程往往是由被视察的下级组织的，这就为下级有选择地安排(甚至制造)视察内容提供了机会，使得上级只看到他希望看到的，或者只看到下级希望他看到的内容。d. 专家考评。这时若干外部专家对某个社会项目的过程和结果进行评估，是目前许多专业职业领域对涉及较多专门知识技术和复杂管理过程的社会活动的常用评估方法，例如企业质量保障体系的专家认证，科研项目立项或获奖的专家评审，图书馆评估，高等学校校园综合

8、治理评估等.专家评估能充分利用专家的知识和经验来分析和评价有关活动，有利于从社会需要和统一标准角度来作出评价，而且专家可超脱具体机构或活动执行部门而具备必要的客观性。专家还可利用其专业知识提出中肯可行的决策建议。但是专家评估也是在短时期内进行的，使得专家难以对项目有全面系统的了解。专家评估也依赖于被评估部门的组织和合作，从而限制了专家可能接触到的项目实情。况且，找到合适的专家并不是轻而易举的事。e. 常规审计，指根据有关规定进行的定期评价，具有较强的规律性规范化和强划性，往往能提供系统详细的数据。但审计往往以财务审计为主，比较注意社会项目执行过程的效率和资源利用情况，忽略或冲淡了对资源使用结果

9、和社会项目效益的评价，容易将问题掩盖在难以理解的繁复数据中，而且一般不能揭示产生问题的原因。另外也需注意：常规审计所使用的数据也是由被审计单位提供的，如何保证数据的真实客观全面始终是任何审计工作的关键问题。11.1.2评估研究评估研究是指按照科学研究原则和严格的科学研究方法来准确地测量与评估社会项目实现目标程度的过程。(1) 评估研究的性质与特点评估研究是社会发展的要求。在现代社会中，许多社会项目耗费大量社会资源，而且对社会整体或某些部分可能产生重大影响，人们自然希望这些社会资源的使用能够带来预期的理想的社会效益。同时，当一部分社会资源被用于一定社会项目后，另一些社会项目就会因为缺少资源而不能

10、建立或维持，相应的社会需要就不能得到满足，资源的占用总是以一定社会需要得不到满足为代价的。因此人们也很自然地要求资源被用于能够满足最大量的社会需要的地方，要求提高社会资源的使用效率。在这种情况下人们要求社会项目具有明确正确和合理的目标，能够实现所规定的目标，并在实现其目标的过程中使用可能条件下最经济有效的方法。社会再也没有随便建立或维持目标不明或目标不能实现的社会项目这份奢侈了，社会也必须寻求严格公正的方法来揭露那些浪费社会资源的社会项目，以便最佳配置社会资源来最大限度地满足社会需要。评估研究遵循科学研究方法的基本原则和操作规范，要求对被评沽的社会项目建立合理明确具体的评估标准，要求系统客观准

11、确地收集代表性数据，要求将待评估项目的状态和结果与既定目标相比较，与在其它情况下或相同相似条件下能够达到的状态和结果相比较，最后得出明确的绩效结论，并在此基础上提出关于维待、修正或中止该社会项目的决策建议。人们希望，在科学研究方法基础上进行的评估会尽可能地避免主观愿望、利益、人际关系、习惯传统、简单粗糙行为等的影响，使评估结论具有客观性和可靠性，使评估结论能提高社会决策的有效性。根据社会项目所处阶段和决策需要，评估研究的目的和性质可能是多重的：a. 描述性评估(Descriptiveevaluation),通过详细和充分地描述社会项目的运行过程，准确了解该项目的状态和方法，为评价项目结果和揭示

12、存在问题及其原因提供基础。b. 形成性评估(Formativeevaluation),通过描述社会项目的运行状态与结果，为改善和完善该项目的方法技术提供参考。c. 总结性评估(Summativeevaluation),通过描述和比较社会项目的结果，评价该项目的社会价值。在许多复杂社会项目的评估中，评估活动本身分为多个阶段，以适应多重评估性质和目的的需要。(2) 评估研究对象严格的评估研究是复杂和费时费钱的，因而人们并非在任何情况下都使用评估研究方法来评价社会项目，只是对具有重要社会意义的项目才采用评估研究方法。这类项目一般具有以下特点：a. 涉及复杂内容，非严格系统方法不能对其进行准确测量评价

13、；b. 社会影响大(范围广、时间长、程度深)，项目目标的充分实现具有重要的社会意义;c. 涉及大量的社会资源，保障它的充分与有效利用对社会公平和资源总体配置优化具有重要的社会意义；d. 对社会项目的作用存在一定的争议，需要系统客观的数据来进行评判；e. 有需要或有可能对项目的维持、修正或中止进行决策，从而使评估结论能迅速运用于决策过程，评估投资能迅速转化为社会资源利用效益。有些社会项目可能不值得进行评估，例如巳经做出决定的项目，不打算做任何决定的项目，目的没有准确描述或存在矛盾描述的项目，内容和范围游移不定的项目等。许多社会项目需要进行评估，但可能不必或无法按照科学研究要求来进行严格的评估研究

14、，例如涉及很小范围和很少资源的项目，社会作用明确且长期不存在异议的项目，没有保存或无法收集客观系统数据的项目，执行单位或其上级主管部门不支持评估和不提供必要条件的项目等。11.1.3评估研究的基本实施原则为了进一步理解评估研究的性质和基本操作规范，我们在此深入探讨评估研究的基本实施原则。(1)目标效益原则社会项目评估的最终和最根本的目的是评价项目实现既定社会目标的程度，从而促进正确进行社会决策，以保障社会资源最优配置。但是实际的社会项目评估往往是分为多个层次进行的。a. 对投入资源程度的评价，例如按工程项目经费开支数量，按教育活动投入人力资金程度，或按图书馆文献收藏量等来分别进行评估。这类评估

15、的基础是：在其它一切条件相等的情况下，投入的资源越多，项目的社会效益就越大。b. 对项目运行效率的评价，例如按工程项目建成的厂房或投入安装的设备，按教育活动完成的时间数量或教授学生数量，或按文献信息机构流通的文献数量来评估。这类评价的指导思想是：在其它一切条件相等的情况下，运行中所产生的结果越多，项目的社会效益就越大。c. 对项目完成社会需要的程度的评价，例如工程项目在一定时间内向社会提供的产品数量和质量，经过特定教育活动的学生毕业率，信息用户从文献信息机构获取所需信息的获得率。这时的基本思路是：在其它一切条件相等的情况下，项目所满足的社会需要越多，项目的社会效益就越大。d. 对项目完成社会需

16、要的效率的评价，即单位投资所满足的社会需要程度。这类评估包括考察工程项目的投资回报率，警务治安开支与发案率（破案率）之比，文献信息机构文献收藏量与用户文献获得率之比等。这类评估的要求是：单位投资所满足的社会需要程度越高，项目在一定社会投资下产生的社会效益就越高。优秀社会项目应以在可能条件下用最经济有效的方法来尽可能充分地满足社会需要。严格的社会项目评估应该是对项目完成社会需要程度和完成社会需要的效率的评估为主，以真正保障正确的社会决策和促进社会资源最佳配置.但由于对社会需要满足程度及满足效率的评价比较困难，人们常常用对社会项目的资源投入程度或项目运行效率的评估来代替。当然，资源投人是项目运行的基础，一定的运行效率是项目产生作用的必然要求，对它们的评估本身对促进项目的实施和有效进行有重要意义，同时为项目效果评估提供了必要的基本数据。但是，资源投入和运行效率只是为社会项目完成其目标准备了一定