Phillips的五级六指标模型运用.docx

1、Phillips的五级六指标模型运用Phillips的“五级六指标”模型运用公司的培训效果评估是怎么做的呢？“一般都是采用Kirkpatrick的四层次理论、Phillips的五级六指标和Swanson & Holton的结果评价体系，对反应层、学习层、行为层、结果层进行评估的。”那先从Phillips的“五级六指标”模型开始。先简单说一下，培训开发的流程一般是：对培训进行需求分析（确定需求优先级）进行培训项目设计（设定目标、课程开发、资料获取、选择培训师、选择培训技术、培训计划日程）培训项目实施效果评估（确定评估标准、设计评估方案、实施评估、结果分析与反馈）。从这个流程上，可以看到培训评估是

2、流程的最后一步，导致很多人很容易把这一步看作是培训完成后才需要做的事情。这样的理解是不对的。需求分析：指明了“为啥做”和“做啥”的方向；设计与实施：解决了“做到啥程度”和“怎么做”的过程；培训评估：回答的是“做得怎样”的问题，也就是对当初为啥搞培训的出发点和初衷进行验证，对培训实施的过程进行跟踪，对培训后产生的成果进行衡量测量。所以，培训效果评估是贯穿于整个培训的循环中的，而不是等到培训搞完了才来评估。一、Phillips的“五级评估六类指标”模型评估级别及相关数据的种类数据的重点数据用途概述第一级：反应和/或满意度，以及所计划的行动培训项目、培训人员和评选结果可能将如何得到应用1.衡量相关人

3、员对培训项目的主观看法，主要是学员对培训项目和对培训人员的反应和满意度2.它也许还可以衡量另一个维度：学员参加培训后所指的的行动计划，即学员如何实施新的要求、项目或流程，或他们将如何运用新知识和新技能3.有关反应的信息可用来改善培训的内容、设计和实施流程4.制订行动计划的过程有助于促成培训成果向工作环境的转移5.有关行动计划的信息可以用来决定将来评估的重点，并用来对比实际结果和当初的计划第二级：学习结果重点在学员及有利于学习的支持性机制1.衡量学员在多大程度上掌握了培训中的内容：所期望的态度、知识、技术、流程等2.对学习的衡量要比获得反应的信息难，要采用客观的衡量方法，衡量指标要能够量化3.衡

4、量获得的信息用来判断学员对学习内容的理解和吸收程度4.衡量获得的信息还可以用来改进培训项目的内容设计和实施流程第三级：工作中的应用和/或实施重点在学员、工作环境和有助于学习内容得以应用的支持性机制1.衡量学员在工作中行为的变化，包括培训中所学知识和技术在实际工作中的应用2.评估信息可以提供有关培训内容在工作环境中是否得到应用以及使用的频率和效果3.探寻培训内容有效的条件；若有效，如何在其他环境条件下重复应用4.探寻阻碍培训内容应用有效性的原因，以便能够有针对性地对培训项目加以改进，或者促进其他培训项目的发起和实施第四级：对业务的影响重点在培训对组织绩效所产生的影响1.评估目的在于确定培训对于改

5、进组织绩效所产生的影响或效果，并于组织的期望值进行对比2.评估产生的主观数据包括顾客的满意度增加、员工的敬业度提高、顾客的保留率提高、对顾客反应时间缩短等3.评估产生的客观数据包括成本的节省、产出的增加、时间的节省或质量的改进等4.获得业务影响效果信息的方式有：培训前后分别收集数据，对通过培训引起的业务绩效的改进情况（或没有改进）进行分析，将培训的结果和适当的业务指标联系起来第五级：投资回报率（ROI）重点在于培训所产生的用货币形式来体现的收益1.本级评估关注的是相对于培训成本，培训产生的业务效果所带来的用货币形式体现的价值，并进一步计算ROI2.ROI可以用投资回报的价值或成本收益的比例（%

6、）来表示3.ROI衡量了培训项目对实现组织目标的贡献大小，显示了培训项目的真正价值4.由培训产生的业务指标的改进所带来的ROI不一定都是正值无形收益重点在于用非货币形式体现的因素来衡量培训的价值1.无形收益数据是指不能或不应该转换成货币价值的数据2.无形收益数据与数据的重要性无关，它所指的是数据缺少客观性和无法转化成用货币形式来体现价值；或者有时将某些数据转化成货币形式来体现价值的代价太高昂3.无形数据常常是培训所产生的正面影响的体现，但又无法用货币形式来衡量其价值的大小4.在培训所产生的业务效果无法用货币形式来衡量时，它就无法与培训成本相比较，也就无法确定其ROI，因此，无形收益必须以非货币

7、形式另列一类5.有时管理层和利益相关者满足于无形收益的数据6.培训对业务效果所产生影响的主观数据一般属于无形收益，如顾客满意度、员工敬业度、客户保留率、员工保留率等7.培训对业务流程中所产生的影响的主观数据也属于无形收益，如组织承诺的增加、团队合作的改进、客户服务的改善、冲突的减少、压力的减轻等Phillips对培训效果评估的贡献是：1.在Kirkpatrick的四层次理论基础上将第四层次进一步量化形成了第五个层次（第五级）的评估概念ROI，将培训的结果转变成货币价值。2.创建了无形收益作为第六类指标，使定性化的主观信息成为评估的必要组成部分。3.明确提出了在制订效果评估策略时，应首先确定评估

8、的级别（层次），并据此收集相关的数据资讯，包括“硬数据”和“软数据”。4.培训评估并不一定需要覆盖全部的级别，应根据评估目的的进行部分或全部评估。5.设计了效果评估的“十步骤”来指导评估活动的具体实施如图：下面部分就是以“十步骤”来说明这“五级六指标法”二、Phillips的“五级评估六类指标”模型具体应用1、设定培训目标，确定效果评估的基础（1）以结果为导向确定培训评估的框架确定以结果为导向的效果评估框架是“五级六指标”流程的第一步，目的在于确定培训项目的效果领域和具体业务指标，并网每一项指标设定目标期望值，使培训目标与组织目标高度契合。以结果为导向的评估框架，揭示了效果评估贯穿于整个培训过

9、程的作用点（如图）：阶段A：对组织、任务和个人层次上的培训需求加以确认，更重要的是对每一需求是否满足的评价进行分级，根据培训需求的层次决定相应的效果评估等级，制定评估策略和计划。阶段B：从培训方案设计开始到实施培训方案，在此过程中要进行一级（满意度/反应，行动计划）和二级（学习结果）评估，并且根据评估策略和计划收集相应的数据以供更高级别评估之用。阶段C：对项目的跟踪评估。在设定的时间周期内进行三级（应用/实施）、四级（业务影响）、五级（投资回报率）和/或无形收益的评估。（2）制定每一级培训效果评估的目标总体目标的制定上有ASTD法、人力资源指标法等，这里不详细说了，详细说说培训项目具体目标的制

10、定：采用Phillips的“五级评估六类指标”设定培训项目的目标，如下工作表：评估目标的级别目标的关注点一级：对培训的反应/满意度规定培训实施后，学员对培训的满意度和反应的程度二级：学习结果规定学员应该从培训中获得的知识和所需技能的提高程度三级：培训的应用/实施规定培训结束后，学到的知识和技能被应用到工作环境中时，必须实现怎样的行为变化四级：培训对业务的影响规定培训结束后，业务指标将发生怎样的变化和改善五级：培训的投资回报率规定比较成本和收益，实施培训项目所带来的投资回报率无形收益规定无法转化成货币价值的四级指标作为无形收益1）.反应/满意度目标的制定作为最为基础的目标，一级培训目标反映了学员

11、对项目的喜欢程度，体现了是否在培训中建立双赢关系，这对取得更高级培训效果至关重要。因此，学员对培训活动的反应应该是正面的，至少也不应该是负面的。2）.学习目标的制定学习目标既能够帮助学员明确学习的内容和成绩要求，又为评估学习效果设定了标准，以下内容可作为设定学习目标时参考：目的：衡量知识和技能的掌握程度最好的学习目标：1.描述可观察到的和可衡量的行为2.以结果为导向，描述清楚、具体3.具体说明学员在培训之后的应知应会应做4.包含三个元素：行为在培训结束时，学员将能够做什么条件在什么情况下学员才能完成任务标准有效地完成认为必须要达到的程度或水平三种类型的学习目标：1.认知熟悉术语、概念和流程2.

12、知识对概念和流程的理解3.行为技能的展现水平（至少具备基本水平）举例：1.能够辨别和理解6个领导力模型和理论2.在给定的19个客户访问场景中，以100%的正确率来启动客户拜访程序（应用正确的步骤）3）.应用/实施目标的制定这目标是学习目标的延伸，反映的是从培训中学到的知识和技能在实际工作中的应用，同时为评估员工在工作中的行为变化和绩效改变提供了标准。以下内容可以供设定这个目标使参考：目的：衡量知识和技能在工作中的应用程度最好的应用/实施目标：1.描述可观察到的和可衡量的行为2.以结果为导向，描述清楚、具体3. 具体说明学员在培训之后应该做出哪些改变（行为和绩效）4.包含三个元素：行为在培训结束

13、后的一个具体跟踪时间周期内，学员产生了哪些改变，或取得了哪些成绩条件在什么情况下学员才能完成任务标准有效地完成认为必须要达到的程度或水平两种类型的应用/实施目标：1.基于知识层面的目标：对概念、流程的一般理解2.基于行为层面的目标：技能的展现水平（至少具备基本水平）需要回答的主要问题：1.在工作中将应用什么样的新知识2.应用技能的频率是怎样的3.将完成什么样的新任务4.将采取什么样的新措施5.将采取什么样的新行动6.将实施什么样的新程序7.将实施什么样的新方针8.将实施什么样的新流程举例：1.在每个客户访问的场景中，应用开启拜访的正确步骤2.确定小组成员中谁在客户拜佛过程中表现出缺乏信心，以便

14、在应用过程中为他们提供辅导4）.业务影响目标的制定这个目标是所有利益相关者对培训“成果”的期望所在，是衡量学员是否将培训中所学知识和技能应用到实际工作中而带来行为和绩效变化的关键步骤，也是对知识掌握（二级目标）和应用/实施（三级目标）的进一步验证。以下内容可以供设定这个目标时参考：目的：衡量应用知识和技能对业务产生的影响最好的业务影响目标：1.衡量指标必须与培训中所教授的知识和技能相关2.描述的衡量指标容易收集3.以结果为导向，描述清楚、具体4.详细说明培训结束后，学员在业务部门中应取得怎样的成果四种有硬性数据的业务影响目标：产出、质量、成本、时间三种普通的带有软性数据的业务影响目标：1.客户

15、服务（响应速度、准时交货、完好性等）2.工作环境（员工保留、员工抱怨、不公平待遇等）3.工作习惯（怠工、缺勤、违反安全条例等）举例：1.在一年内，将员工流失率从30%降低到15%2.在半年内，将缺勤率从周平均10%降低到5%5）.投资回报率目标的制定具体计算办法：将培训获得的价值（用货币形式表示的净收益）与投入的资源（培训总成本）相比较。即：ROI=（培训净收益培训总成本）100%2、确定评估计划和基础数据评估计划包括数据收集计划和分析计划，而数据必须包括客观的可衡量数据和主观的描述性数据。（1）基础数据的分类数据分为硬数据和软数据，分别举例：硬数据：产出成本时间质量生产的单件产品数制造完成的

16、重量组装的零件数回收的货款出售的零件数完成的表格数放出的贷款额库存周转率来访的病人数处理完的申请数毕业的学生数完成的工作任务每小时的产出预定的工作量奖励分红金额出货量开发的新客户预算变化单位成本可变成本固定成本一般管理成本运营成本成本减少项目成本项目成本节约事故成本销售费用设备停机时间加班时间出货时间周期项目完工时间监管的时间新员工的试用期培训时间会议日程维修时间工作中断时间订单响应时间报告延迟时间废料的比例废品率客户拒收率订单出错率返工率顾客投诉率缺料率与标准的偏差生产故障率事故数量软数据：工作习惯感觉/态度新技能进步/改善工作氛围主动性缺勤工作主动性倾听工作效率的提高不公平待遇的数量新想法

17、的实施怠工工作态度阅读速度加薪次数员工抱怨项目的圆满完成超额休息工作责任心应用新技能的意向参加培训次数工作满意度提交的建议数量违反安全条例积极工作行为使用新技能的频率业绩考评等级员工流失落实的建议数量沟通故障员工敬业度做决定的次数工作效率的提高诉讼案件工作成就员工士气解决的问题避免的冲突心理咨询问题明确工作目的和设计业绩指标（2）数据收集计划举例：以销售培训为例项目：互动式销售技巧培训责任人：日期：级别广义的项目目标衡量指标数据收集数据来源时间责任人一反应/满意度肯定性反应建议改进的内容要采取的行动*在1至5数值范围内,质量、实用性、培训目标完成状况的平均值至少要达到4.7*行动计划的提交率达

18、到100%反应问卷学员第二天结束培训讲师二学习结果获得的技能技能的选用模拟角色演练场景，演示正确选用15个销售技巧和影响客户的6个步骤技巧练习学员第三天结束培训讲师三培训内容应用/实施-使用技能的程度-使用技能的频率-确认障碍*报告技巧得到应用的频率和程度*报告在访问客户过程和获取订单时遇到的障碍调查问卷培训结束后跟进学员培训后3个月培训后3个星期培训协调员培训讲师四培训对业务的影响-销售增长每周的销售额绩效监控销售报表培训后三个月学员的直接上司五ROI至少达到25%备注：说服利益相关者安排、设立控制组并网其指定标准（3）ROI分析计划还是以销售培训为例的ROI分析计划：项目：互动式销售技巧培

19、训责任人：日期：数据（通常是第四级）鉴别培训项目/流程效果的方法将数据转化成货币价值的方法成本分类无形收益最终报告的目标受众应用中出现的其他影响因素或问题备注每个销售人员的销售额对照控制组进行分析利用毛利率直接转换讲课费用培训材料费餐费/茶点费培训场地学员的工资福利培训协调费客户满意度员工敬业度学员销售部门经理零售店经理区域总部主管培训人员没有和控制组人员沟通在培训中必须注意工作的覆盖面3、培训期间的数据收集（1）第一级（反应和满意度）评估的数据收集：1）.标准的反应和满意度评估数据由八个部分组成，如下表：反应和满意度培训评估表培训项目名称：日期：培训项目编号：地点：以下描述与本次培训的某些具

20、体内容相关。请标明您对每项描述同意的程度，并在需要时给出评论：=非常不同意=不同意 =无所谓 =同意 =非常同意内容：1.教学目标解释清晰明了2.已达到培训设定的教学目标3.我理解本课程中的材料和主题4.培训内容与我的工作相关（若不同意，请说明原因）请留下您的意见：方法-以下活动/材料有助于我理解培训的内容和达成所设定的培训目标5.在培训前收到了预习的材料6.学员手册7.课堂讨论8.联系和/或阅读材料/活动9.音像材料（挂图、录像等）请留下您的意见：培训环境10.教室环境适合本次培训请留下您的意见：培训师姓名NO.1：NO.2NO.3培训师11.对培训内容表现出相当的知识水平12.表达清晰，有

21、助于我的理解13.鼓励学员参与活动及讨论14.对问题给予恰当的回答15.有效地控制小组学习的热情16.使讨论/活动始终围绕培训目标请留下您的意见：行动计划17.作为本次培训的成果，您将会有怎样的行动：培训的总体评分1=完全无法接受10=非常优秀18.我对本次培训的综合评分请留下您的意见：有哪些因素阻碍使您无法将所学的内容加以应用：哪些人最适合学习本次培训内容？您会推荐谁参加同样的培训？请告诉我们，您认为哪些信息有助于本次培训的改进：感谢您花时间告诉我们您的学习体会和建议：2）.对于时间长度超过一天的培训项目，在每天培训结束时应当实施问卷调查，可以及时对当天培训内容获得反馈，同时对接下来的内容进

22、行相应调整。每日培训反馈如下表：1.今天的培训内容有哪些还令我感到困惑和/或不清楚？2.培训的哪些内容最有用？3.如果能够将会对我更有帮助：4.培训的节奏：（）正合适 （）太慢 （）太快5.学员的参与度：（）不够 （）太多 （）正合适6.以下三个方面对我非常重要，我希望您在明天的培训中讲授：7.评论或建议：（2）第二级（学习结果）评估的数据收集：1）.选择性地对学习结果进行评价。在实际操作中，不是所有培训项目都要实施第二级评估，这就需要根据培训项目的性质、重要性、所需时间和资源来决定是否有必要实施第二级评估，并选择做到何种程度（见下表）。评估的前提条件对测试的考虑若适用，请选择学习目标描述得不

23、清楚在考虑是否需要测试学习结果之前建立/重新设计学习目标学习目标表明不需要掌握该内容应该只测试学习目标要求的相应级别，务必让培训项目资助人员和一线经理明白掌握该内容不是培训项目的要求，可能还需要更多和/或其他的培训学习目标要求实现技能的应用采用基于行为的测试培训项目资助人员或客户要求实现学习效果的评估决定什么类型的证据可以接受，采用适当的方式来实施学员是否达到培训目标中设定的最低标准采用标准参照测试培训项目与提供证书及执照的过程相关采用标准参照和行为测试方法有必要再现非常接近真实生活的场景，或者安全被认为是重要的因素采用模拟手段，并确保有预算保证评估的实施重要的技能和知识必须转化到工作中去，以

24、满足法规、利润率和客户服务的要求采用行为测试方法计划实施更高一级的评估考到最为经济适用的方法，在这种情况下，较低一级的评估并不需要很复杂考试结果被作为晋升或职业发展的参考标准采用客观的测试方法（书面形式的测试和行为测试），可以严格地满足有效性和可靠性的要求组织中某项政策禁止采用考试这种手段或者工会合约禁止进行考试采用测试技术，确保以匿名的方式来检验学员的理解程度，以及在多大程度上达到学习的目的2）.用客观测试对学习结果进行评价客观测试根据培训目的来设定，学员必须按照培训内容对测试题做具体和准确的回答，对应该掌握的知识和表现的行为，客观测试具有“标准”答案，因此，客观测试不能用来测试态度、感觉、

25、创造性和解决问题的过程以及其他隐性的技术或能力。在设计客观测试题目时必须遵循一定的原则和步骤：说明：客观测试或者是为了测试知识，或者是为了测试行为，或者两者皆有。*知识性测试衡量对信息的理解程度或者对某种技能的掌握程度。知识性测试可以采用口试或者书面考试的方式。对产品知识和工作流程的理解通常采用知识性测试*行为测试（有时指技能测试）要求学员演示工作中需要完成的某项任务（或多项任务）时使用某种技能而表现出某种期望的行为。如销售过程中应对拒绝和使用恰当提问技巧就是2个基于行为测试的例子*在上述任何一种测试中，在学员接受测试时，应该提供与真实工作环境相同的资源。例如，如果在工作场所中允许使用参考资料

26、，那么在进行书面测试和技能测试时也应该提供这些参考资料步骤一：检查课程目标 仔细检查课程目标以确保测试题反应该目标中所期望的知识和技能。测试题不应原封不动照抄目标步骤二：选择合适的测试类型 选项满足目标要求并适合被测试学员的测试类型。若是基于行为的目标，测试也必须要以行为为基础；基于知识的目标也必须采用基于知识的测试题来做。设计基于行为的测试题时应该包含被测试的任务、完成任务所具备的条件，以及合格的行为标准。应该尽可能地还原工作场景，通过使用与工作环境中相同的资源、设备、材料等来完成任务步骤三：便携测试题 对照每个独立的学习单元编写测试题 以参考目标来决定基于行为的测试和基于知识的测试哪一个更

27、适合 基于知识的测试通常使用多项选择的方式，衡量学员对培训中信息的理解，要求从几种可能的答案中选出一个正确的答案 基于行为的测试应该结合工作场景密切相关的流程，衡量学员在执行流程的过程中表现出来的动手、言语表达或分析方面的技能步骤四：检查每个测试题 测试题必须清楚，没有含糊不清的内容，不需要额外的解释和翻译 测试题的行为格式必须符合学员的阅读理解习惯 避免对正确答案给出任何暗示或提示 不要将某个问题的答案明显地写在另外的一个问题中 仔细检查内容和语法错误 确保测试题目能够按照培训目标要求对应该掌握的内容起到测试作用步骤五：对照和记录测试题目 将测试题目与培训相匹配的情况记录下来，并且记录每个测试题的正确答案步骤六：设计测试 决定采用测试的类型，然后按照下面的指示进行测试的设计 必须对每个目标进行测试 测试题的数量和范围应该反映出每个目标所占用的学习时间 测试题应该区分合格和不合格的表现 测试时间的长短应该是可控的，而且应该在分配的时间内完成 测试题的形式具有一致性，切忌频繁变换问题的类型 不要将一道测试题分割在2个页面上 将测试题根据学习单元分组排列 给参加测试的人员提供清楚说明