人员素质测评第四章优质PPT.ppt

1、1 1、定义：素质测评中、定义：素质测评中所指的误差就是在测所指的误差就是在测量中与目的无关的变量中与目的无关的变因所产生的不准确或因所产生的不准确或不一致的效应。不一致的效应。包含两层意思：一是包含两层意思：一是误差是由与测验目的误差是由与测验目的无关的变因引起的；无关的变因引起的；二是误差是不准确或二是误差是不准确或不一致的测量结果。不一致的测量结果。v从图可看出，所有的射击几乎都落在靶心的同一外侧，射击的偏差具有一致性、系统性。一、误差的定义和种类 2、误差主要有两种类型：系统误差 随机误差是使用测量工具进行是使用测量工具进行素质测量所造成的误素质测量所造成的误差，又称测量误差、差，又称

2、测量误差、观察误差、偶然误差。观察误差、偶然误差。它是由与测验目的无它是由与测验目的无关的偶然因素引起，关的偶然因素引起，使得几次测量结果不使得几次测量结果不一致，且这种不一致一致，且这种不一致是无系统的、随机的。是无系统的、随机的。随机误差与信度及效随机误差与信度及效度都有关系，信度则度都有关系，信度则完全受随机误差影响完全受随机误差影响。v由图可看出，所有的射击几乎是随机地散落在靶心的四周，不具有一致性和规律性。2022/11/52022/11/58系统误差对信度没什么影响，因为系统误差总是以相同的方式影响测量值的，因此不会造成不一致性。反之，随机误差可能导致不一致性，从而降低信度。信度实

3、际上就是对随机误差的一种度量。3、人员素质测评误差的类型o（1）来源于测评内部引起的误差o（2）来源于由施测过程引起的误差o（3）来源于由受测者本身引起的误差（1）测评内部引起的误差 测评内部引起的误差主要来源于题目取样：当测评题目较少或取样缺乏代表性时，被试的反应受机遇影响较大；物理环境物理环境主试者方面主试者方面内容内容结构结构AB评分记分评分记分D意外干扰意外干扰C（2 2）由施测过程引起的误差）由施测过程引起的误差应试动机应试动机测验焦虑测验焦虑生理因素生理因素测评经验测评经验练习效应练习效应误差误差误差误差学习、发展和教育学习、发展和教育（3 3）由受测者本身引起的误差）由受测者本身

4、引起的误差反应方式反应方式二、信度的定义 信度又叫可靠性，指的是测量的一致性程度，可以定义为测评结果不受测评情境或，可以定义为测评结果不受测评情境或测评过程中无关变量影响的程度。测评过程中无关变量影响的程度。四、四、信度的评估方法信度的评估方法（一）重（一）重测信度信度（二）（二）复复本信度本信度（三）一致性信度（三）一致性信度（四）（四）评分者信度分者信度2022/11/52022/11/515（一）重测信度一）重测信度1 1、定义、定义又称为又称为稳定性系数、再测信度稳定性系数、再测信度，是采用重测法计算信度的，是采用重测法计算信度的方法，即用同一测验在不同时间对同一对象施测两次，两方法，

5、即用同一测验在不同时间对同一对象施测两次，两次测量分数的相关系数即为重测系数。次测量分数的相关系数即为重测系数。例如：如果用一个智力测验测量某人的智力，第一天测量例如：如果用一个智力测验测量某人的智力，第一天测量得到得到100100分，表示智力中等；第二天测量却变成了分，表示智力中等；第二天测量却变成了150150分，分，这个分数意味着这个人在一夜之间变成了天才，如果没有这个分数意味着这个人在一夜之间变成了天才，如果没有特殊原因，这种事绝对是小概率事件，不太可能发生，可特殊原因，这种事绝对是小概率事件，不太可能发生，可信度极低。不能用这个结果帮助决策。信度极低。素质测量所测查的特质中，有相当多

6、的内容具有一定的素质测量所测查的特质中，有相当多的内容具有一定的稳定性，如人格、能力倾向等，因此，对于这些内容而稳定性，如人格、能力倾向等，因此，对于这些内容而言，重测信度对于衡量测量工具的质量是很重要的指标。言，重测信度对于衡量测量工具的质量是很重要的指标。式中N表示两次测评结果数据配对总数；x表示被分析的测评结果（分数）；y表示重复测评得到的测评结果（分数）。计算方法计算方法3 3、误差来源、误差来源（1 1）测验本身：测验所测的特性本身就不稳定）测验本身：测验所测的特性本身就不稳定，例如情绪。，例如情绪。（2 2）被试方面：成熟、知识的发展并非人人都）被试方面：成熟、知识的发展并非人人都

7、等量增长，且练习因素、记忆效果也存在个体等量增长，且练习因素、记忆效果也存在个体差异。差异。（3 3）施测情境：偶发因素的干扰，如计时错误）施测情境：偶发因素的干扰，如计时错误，情绪波动，健康状况，动机变化等。，情绪波动，健康状况，动机变化等。能提供有关测验结果是否随时间而变异的资料，能提供有关测验结果是否随时间而变异的资料，可作为预测受测者将来行为的依据可作为预测受测者将来行为的依据优点优点 容易受练习和记忆的影响，前后两次施测间隔容易受练习和记忆的影响，前后两次施测间隔的长短必须适度的长短必须适度;第一次尝试所发现的错误也可第一次尝试所发现的错误也可能导致第二次反应的变化而增加误差变异能导

8、致第二次反应的变化而增加误差变异缺点缺点4 4、使用重测信度的优缺点、使用重测信度的优缺点2022/11/52022/11/519（二）复本信度（二）复本信度1 1、定义、定义它是以两个测验复本（功能等值但题目内容不同）来它是以两个测验复本（功能等值但题目内容不同）来测量同一对象，然后求得被测者在这两个测验上得分测量同一对象，然后求得被测者在这两个测验上得分的相关系数。它反映的是两个测验之间的等值程度，的相关系数。它反映的是两个测验之间的等值程度，故又称等值系数。故又称等值系数。例如同样是测量数学运算能力例如同样是测量数学运算能力的测验，如果一个测验复本侧的测验，如果一个测验复本侧重于考核加减

9、法的运算，而另重于考核加减法的运算，而另一个复本侧重乘除法的运算，一个复本侧重乘除法的运算，两者之间的相关必定不会抬高，两者之间的相关必定不会抬高，即复本信度低，说明必定有一即复本信度低，说明必定有一项测验复本的取样有问题项测验复本的取样有问题。计算方法计算方法和重测信和重测信度一样度一样2022/11/52022/11/5202 2、优点及缺点、优点及缺点（1）（1）能够避免重测信度的一些问题，如记忆效果能够避免重测信度的一些问题，如记忆效果（2）（2）适用于进行长期追踪研究或调查某些干涉变量对测验成适用于进行长期追踪研究或调查某些干涉变量对测验成绩的影响；绩的影响；（3）（3）减少了辅导或

10、作弊的可能性。减少了辅导或作弊的可能性。优点优点（1）（1）如果测量行为受练习的影响，复本信度只能减少而不能消除这种影响；如果测量行为受练习的影响，复本信度只能减少而不能消除这种影响；（2）（2）有些测验的性质会由于重复测量而发生改变，如某些问题的测验，如有些测验的性质会由于重复测量而发生改变，如某些问题的测验，如果掌握了解题原则就有可能产生迁移，尤其当复本只是在题目具体内容果掌握了解题原则就有可能产生迁移，尤其当复本只是在题目具体内容上有改变时，这种正迁移的作用会很强；上有改变时，这种正迁移的作用会很强；（3）（3）有些测验很难找到复本。有些测验很难找到复本。缺点缺点2022/11/5202

11、2/11/521（三）一致性信度（三）一致性信度1 1、定义、定义一致性信度又称为同质性信度，是指一个测评活一致性信度又称为同质性信度，是指一个测评活动中各个题目所测内容的一致性。动中各个题目所测内容的一致性。如果被测者在第一个项目上比其他人分如果被测者在第一个项目上比其他人分数高，在第二个项目上又比其他人高，在数高，在第二个项目上又比其他人高，在第三个项目上也比其他人高第三个项目上也比其他人高相反另一相反另一个人在第一个项目上比其他人分数低，在个人在第一个项目上比其他人分数低，在第二个项目上又比其他人分数低，在第三第二个项目上又比其他人分数低，在第三个项目上也比其他人分数低个项目上也比其他人

12、分数低那么毫无那么毫无疑问，我们会认为测评结果比较可靠。疑问，我们会认为测评结果比较可靠。2022/11/52022/11/522（四）评分者信度（四）评分者信度1、定义随机抽取相当份数的试卷，由两位或多位评分者按记分规则分别给分，然后根据每份试卷的分数计算其相关系数，即得评分者信度。评分者的评分越一致，评分者信度越高。一般要求评分者之间平均一致性达到0.9以上，才认为评分是客观的。2 2、计算方法、计算方法其中，其中，n n是评分者人数，是评分者人数，mm是测评项目个数，是测评项目个数，R Ri i是每一个对象被评等级是每一个对象被评等级或分数的总和。或分数的总和。第二节第二节 测量的效度测

13、量的效度二、效度的评估方法二、效度的评估方法一、一、效度及其影响因素效度及其影响因素2022/11/52022/11/525一、一、效度及其影响因素效度及其影响因素 效度效度就是指测量的有效性，即能够测量到所要就是指测量的有效性，即能够测量到所要测量目标的程度，反映了测量结果对测量目标测量目标的程度，反映了测量结果对测量目标的体现程度。的体现程度。1 1、效度的概念、效度的概念效度就是对素质测验准确性的估计。效度就是对素质测验准确性的估计。262 2、效度与信度的关系、效度与信度的关系二者的区别二者的区别信度与效度的差别在于所考虑的误差不同信度与效度的差别在于所考虑的误差不同信度考虑的信度考虑

14、的是随机误差是随机误差的影响的影响效度考虑效度考虑的误差包的误差包括随机误括随机误差和对测差和对测验目的无验目的无关的变量关的变量引起的系引起的系统误差统误差二者的联系二者的联系信度是效度的必要条件，但不是充分条件信度是效度的必要条件，但不是充分条件信度高，效度未必高信度高，效度未必高信度低，效度一定低信度低，效度一定低2022/11/52022/11/5273 3、效度的影响因素、效度的影响因素一个测验效度的高低，一个测验效度的高低，很大程度上取决于该测很大程度上取决于该测验受无关因素影响的程验受无关因素影响的程度。凡是能造成测验结度。凡是能造成测验结果误差的因素，都会影果误差的因素，都会影响测验效度。响测验效度。3 3、效度的影响因素、效度的影响因素测验题目的质量测验题目的质量1实施测验时的干扰因素实施测验时的干扰因素234被试者的影响因素被试者的影响因素测验的长度测验的长度难易程度、难易程度、题意表达、题意表达、试题内容试题内容取样的代取样的代表性表性指导语、指导语、计分错误计分错误反应定势、测反应定势、测验动机、情绪验动机、情绪增加测验题目往增加测验题目往往能增加测验的往能增加测验的信度和效度信度和效度内容效度内容效度关联效度关联效度评估评估方法方法构想效度构想效度二、效度的评估方法二、效度的评估方法301 1、内容效度、内容效度 （1 1）定义：）定义：内容效度内容效度