市区英语测验分数双峰分布成因诊断研究报告.docx
《市区英语测验分数双峰分布成因诊断研究报告.docx》由会员分享，可在线阅读，更多相关《市区英语测验分数双峰分布成因诊断研究报告.docx（20页珍藏版）》请在冰豆网上搜索。
市区英语测验分数双峰分布成因诊断研究报告
××市××区测验数据分析成果之一
英语测验分数双峰分布成因诊断研究报告
中国教研网教研管理评价研究部
北京京外维佳信息技术有限公司
2013年9月
目录
一、问题的提出3
二、研究学科成绩分布形态对测验的重要意义3
三、九年级三个学年分数分布状态的描述和分析3
1、分数分布状态描述和分析的方法3
2、九年级三个学年的“正态分布检验图”3
3、九年级分数分布状态变化的分析4
四、八年级包含试题小分数据的详细分析6
1、与七年级“正态分布检验图”的对比6
2、试题难度分布梯度的分析方法6
3、从试题难度指数分布图分析异常试题的影响8
4、淘汰或改进异常试题可以显著提高测验信度10
5、学生应答倾向异常与双峰分布成因的研究11
五、结束语12
一、问题的提出
从××市××区的多次质量监测的数据分析可以看出，英语学科测验分数频率分布较多地呈现出异常的“双峰分布”的形态，详细探究这种异常形态产生的原因，分析其带来的不利影响，制定改进测验命题和教学活动的措施，无疑是十分必要的。
报告以详实的数据、科学的方法、不同的角度做出分析结果。
报告深入每个试题，甚至到学校、班级，对基层学生的应答状况进行分析，为测验命题和教学过程的精细化评价提供了丰富的范例。
报告可供本区教育局领导、教研员和教学干部参考。
根据对用户数据进行保密的严格要求，真实的学校名称全部被隐去，换成101中学……160中学等。
二、研究学科成绩分布形态对测验的重要意义
研究证实自然人群中个体智力分布特征，为处于中等智力附近的个体数量较多，并在分布图上呈现一高峰，由中间向两端数量逐渐减少，形成类似钟形的分布曲线，它符合统计学上的“正态分布”。
学生学习成绩的分布通常也呈正态分布。
当测验成绩分布接近正态分布时，测量效果符合自然分布规律，因此认为测验比较成功，试题质量较好。
研究学生总体成绩分布可以对测验质量进行定性的评价：
（1）正态分布。
说明测试结果与学生的实际情况一致，各种难度的试题比例合理。
可以最大限度地把成绩不同程度的学生区别开，有利于甄别和选拔性的测验。
（2）正偏态分布。
说明试题难度偏高，难度较大的试题比例偏大。
呈这种分布的试题有利于将成绩优秀的学生和中等程度的学生区别开，但不利于将中下等程度的学生和成绩较差的学生区别开，一般适用于高考、竞赛等甄别和选拔性的测验。
（3）负偏态分布。
说明试题难度偏低，难度较低的试题比例偏大。
呈这种分布的试题有利于将成绩较差的学生和中等程度的学生区别开，但不利于将中上等程度的学生和成绩优秀的学生区别开，适用于选拔性的测验。
（4）双峰型分布。
如果从试题命题的角度进行分析，说明对于该批考生总体而言，试题可能存在两极分化现象，即难度偏高的和难度偏低的试题较多，而中等难度的试题偏少，试题难度的分布缺乏梯度，不够合理。
呈双峰分布的试题可以区别中等程度的学生，但不利于区别出成绩优秀的学生和成绩较差的学生。
测验结果呈双峰分布形态时，对于该批考生而言，测验的信度不高。
如果从考生的状况进行分析，双峰分布的样本可能混合了来自具有两个明显差异层次的学生团体，需要根据本地区的实际情况进行分析判定。
（5）平峰分布（矩形分布），而且标准差较大。
反映了易、中、难三类试题的比例接近或说明学生水平之间的差异较大，呈这种分布的试题区别不同程度的学生的能力都很差，测验呈平峰分布形态时，对于该批考生而言，测验的信度不高。
通常的单元、期中、期末和毕业测验等都属于合格水平测验，目的是考核学生是否达到预定的教学目标和要求。
并不一定要求学生的分数呈现正态分布，反而希望学生成绩的分布能呈现负偏态分布。
从学校教育目的的角度来看，合格水平测验是更具有普遍意义、更重要的学校测验。
因此，学生测验成绩呈现负偏态分布时，说明教学恰恰是成功的教学，也说明了测验具有较高的信度。
三、九年级三个学年分数分布状态的描述和分析
1、分数分布状态描述和分析的方法
对一个测验分数分布的状态的描述和分析，可采用“偏度、峰度检验”和“频率分布正态检验比较”的方法进行。
偏度系数SK可以定量地描述一组数据分布曲线的偏斜程度，是反映试卷整体难度的定量指标之一。
偏度系数：
SK>0正偏态分布，SK=0对称分布，SK<0负偏态分布。
峰度系数可以定量地描述一组数据分布曲线的陡缓程度，是反映试卷整体区分度的定量指标之一。
偏度系数：
KU>0高狭峰分布，KU=0正态峰分布，KU<0低阔峰分布。
《学业质量监测与评价系统QMAS》中设计的“频率分布正态检验图”，通常是学科考试质量统计分析的重要内容。
因为标准正态分布的形式固定，其分布频率与标准差的关系也固定。
因此可将实际样本的频率分布曲线（红色）的曲线与相同平均分和标准差的标准正态曲线（绿色）相比较做出图形。
QMAS软件可根据所选择的样板自动完成主要指标的计算、查表以及推断分析的全部过程。
成绩分布正态检验的两种方法均可从该功能模块的窗口中显示输出，如下述主要指标和图形所示。
2、九年级三个学年的“正态分布检验图”
（1）2010级九年级第1学年末，2011年08月25日测验略显负偏态的“双峰分布”
测验人数：
9327平均分：
62.99变异系数：
38.27偏度：
-0.24<0负偏态峰度：
-1.23<0低阔峰。
（2）2010级九年级第2学年中，2012年01月09日测验近似为“平峰分布”
测验人数：
9416平均分：
56.26变异系数：
40.20偏度：
-0.01<0负偏态峰度：
-1.19<0低阔峰。
（3）2010级九年级第3学年中，2013年01月27日测验显著的“双峰分布”
测验人数：
9818平均分：
55.14变异系数：
45.45偏度：
0.04>0正偏态峰度：
-1.37<0低阔峰。
3、九年级分数分布状态变化的分析
九年级学生三个学年的英语测验，从全区的分数频率分布形态来看，整体分布都很不合理：
A、全区平均分由62.99到56.26，再到55.14，逐年下降。
B、高、低分数的学生得分离散程度逐渐变大，其变异系数由38.27到40.20，再到45.45，尤其以第3学年为甚。
C、第1学年，偏度系数：
-0.24<0，负偏态；第2学年，偏度系数：
-0.01<0，已经十分接近0，负偏态；第3学年，偏度系数：
0.04>0，转为正偏态。
D、频率分布曲线基本都呈双峰分布，第1学年，略显负偏态的双峰分布；第2学年，近似为平峰分布；第3学年，显著的双峰分布。
而且双峰的程度越来越显著，尤其以第3学年为甚。
在上述问题中，A、B、C可以理解为正常的结果：
随着教学目标深入，合理地控制了试卷总体难度，中、低分数段学生因此随之滑坡等。
但上述问题之D则有必要进行详细的分析。
（1）如果从试题命题角度进行分析，试题是否存在两极分化现象，即试题难度偏高和难度偏低的试题较多，而中等难度的试题偏少？
试题难度的分布梯度是否不够合理？
由于没有细化的试题分析数据支持作为证据，暂时还不能先行判定。
（2）如果从考生状况进行分析，双峰分布的样本也可能混合了来自具有两个明显差异层次的学生团体，现根据本地区的实际情况进行分析。
在2010级九年级2011年08月25日测验和2013年01月27日测验数据中，我们选取了“全区”、“第1类校、第2类校、乡镇学校、民办学校”和水平较高的“101中、102中”。
《学业质量监测与评价系统QMAS》中设计的模块，可以任意选择若干学校（或班级）画出一张频率分布比较图。
A、2010级九年级第1学年中，2011年08月25日测验英语常用指标与分数段表
单位
人数
平均分
标准差
变异系数
标准分
100分
90-99分
80-89分
70-79分
60-69分
50-59分
40-49分
30-39分
20-29分
10-19分
0-9分
全区
9337
62.99
24.11
38.27
——
30
1571
1510
1163
1074
934
948
1000
934
161
12
第1类校
3097
68.43
23.52
34.37
0.25
16
695
613
450
323
252
225
234
243
44
2
第2类校
1438
58.58
23.69
40.44
-0.16
0
159
204
175
174
175
173
161
176
38
3
乡镇学校
3833
56.39
22.16
39.3
-0.25
2
271
513
453
511
473
516
570
452
67
5
民办学校
969
78.26
23.03
29.43
0.77
12
446
180
85
66
34
34
35
63
12
2
101中
906
73.66
21.76
29.54
0.47
5
263
209
141
80
54
48
50
51
5
0
102中
827
70.82
22.05
31.13
0.34
8
183
186
130
99
63
46
53
50
9
0
表中红色粗体标注的是处于低峰值处的人数。
B、2010级九年级第3学年，2013年01月27日测验英语常用指标与分数段表
单位
人数
平均分
标准差
变异系数
标准分
100分
90-99分
80-89分
70-79分
60-69分
50-59分
40-49分
30-39分
20-29分
10-19分
0-9分
全区
9826
55.14
25.06
45.45
——
7
911
1421
1161
998
884
1004
1244
1669
517
10
第1类校
3308
60.14
25.48
42.37
0.23
3
445
608
426
344
261
279
328
465
149
0
第2类校
1518
51.31
23.97
46.72
-0.12
1
87
184
169
146
141
185
223
301
81
0
乡镇学校
4071
49.33
22.61
45.85
-0.2
0
120
428
440
449
445
492
642
808
239
8
民办学校
929
69.03
26.43
38.29
0.62
3
259
201
126
59
37
48
51
95
48
2
宜二中
966
65.38
24.17
36.96
0.42
1
155
223
137
112
71
72
71
91
33
0
宜八中
904
63.32
24
37.91
0.34
1
122
179
143
104
84
71
73
93
34
0
C、2010级九年级第1学年中，2011年08月25日测验英语分数频率分布比较图
D、2010级九年级第3学年中，2013年01月27日测验英语分数频率分布比较图
2010级九年级2011年08月25日和2013年01月27日测验两次分数频率分布的比较：
A、从表中以及图中都可以看出，红色全区、黄色第1类校、绿色第2类、深红乡镇学校、紫色民办学校，第三学年双峰分布的程度越来越显著；其中，第2类和乡镇学校的滑坡略大。
B、全区水平较高的绿色101中学、橙色102中学，相对稳定，第1次考试基本呈负偏态，第3次也只在20-29分分数段出现了一个很小的峰值。
点评：
2013年01月27日测验显著双峰分布的产生，显然不能排除总体中包括了来自不同层次学生团体，而且的确存在低分数段滑坡的状况；但是，基于上述B点的思考，也可以说，对于全区考生总体而言，试题还是存在一定的两极分化现象，即难度偏高的和难度偏低的试题偏多，而中等难度的试题疑似偏少，试题难度的分布缺乏合理的梯度。
因此，改进命题工作，并探究可能影响难度分布的其他因素，努力提高测验的信度，是完全必要的。
四、八年级包含试题小分数据的详细分析
1、与七年级“正态分布检验图”的对比
（1）2012级七年级第1学年，2013年06月测验低分数段尾部略大的“负偏态分布”
测验人数：
10114平均分：
57.56标准差：
23.27变异系数：
40.26偏度：
-0.39<0负偏态峰度：
-0.88<0低阔峰。
点评：
七年级“正态分布检验图”分析数据说明，本地区英语测验的分数频率分布并非都是“双峰分布”。
（2）2012级八年级第2学年，2013年06月测验略显负偏态的“双峰分布”
测验人数：
10504平均分：
55.57标准差：
22.71变异系数：
40.88偏度：
-0.04<0负偏态峰度：
-1.26<0低阔峰。
2、试题难度分布梯度的分析方法
（1）试题指标汇总表的定性分析
八年级英语学科试题指标汇总表按难度从高到低排序。
题号
满分分数
平均分数
难度指数P
难度指数Z'
难度指数Δ
区分度指数
T14
1
0.190
0.190
5.88
16.52
0.024
T43
1
0.206
0.206
5.82
16.28
-0.177
T67
5
1.333
0.267
5.62
15.48
0.813
T21
1
0.299
0.299
5.53
15.12
0.180
T18
1
0.307
0.307
5.50
15.00
0.287
T15
1
0.318
0.318
5.47
14.88
0.060
T20
1
0.345
0.345
5.40
14.60
0.040
T50
2
0.702
0.351
5.38
14.52
0.271
T25
1
0.369
0.369
5.33
14.32
0.381
T35
1
0.380
0.380
5.31
14.24
0.422
T68
10
3.958
0.396
5.26
14.04
0.867
T30
1
0.404
0.404
5.24
13.96
0.394
T37
1
0.416
0.416
5.21
13.84
0.418
T39
1
0.424
0.424
5.20
13.80
0.444
T42
1
0.428
0.428
5.18
13.72
0.404
T8
1
0.451
0.451
5.12
13.48
0.379
T64
1
0.451
0.451
5.12
13.48
0.571
T66
5
2.338
0.468
5.08
13.32
0.857
T40
1
0.469
0.469
5.08
13.32
0.464
T54
2
0.949
0.475
5.06
13.24
0.463
T49
2
0.951
0.476
5.06
13.24
0.352
T46
2
0.971
0.486
5.04
13.16
0.564
T56
2
1.022
0.511
4.97
12.88
0.472
T34
1
0.532
0.532
4.92
12.68
0.494
T44
1
0.559
0.559
4.85
12.40
0.565
T33
1
0.560
0.560
4.85
12.40
0.535
T58
2
1.127
0.564
4.84
12.36
0.497
T3
1
0.571
0.571
4.82
12.28
0.461
T59
2
1.143
0.572
4.82
12.28
0.642
T62
1
0.574
0.574
4.81
12.24
0.655
T60
2
1.153
0.577
4.80
12.20
0.594
T27
1
0.582
0.582
4.79
12.16
0.530
T45
1
0.585
0.585
4.79
12.16
0.602
T16
1
0.595
0.595
4.76
12.04
0.400
T19
1
0.602
0.602
4.74
11.96
0.495
T57
2
1.223
0.612
4.72
11.88
0.442
T63
1
0.614
0.614
4.70
11.80
0.698
T26
1
0.622
0.622
4.69
11.76
0.626
T5
1
0.623
0.623
4.69
11.76
0.571
T6
1
0.631
0.631
4.67
11.68
0.306
T55
2
1.280
0.640
4.64
11.56
0.566
T53
2
1.296
0.648
4.62
11.48
0.679
T65
1
0.655
0.655
4.60
11.40
0.585
T24
1
0.657
0.657
4.60
11.40
0.630
T29
1
0.657
0.657
4.60
11.40
0.570
T22
1
0.658
0.658
4.59
11.36
0.525
T61
1
0.667
0.667
4.57
11.28
0.662
T47
2
1.354
0.677
4.54
11.16
0.620
T52
2
1.373
0.687
4.51
11.04
0.599
T32
1
0.691
0.691
4.50
11.00
0.565
T7
1
0.692
0.692
4.50
11.00
0.526
T31
1
0.699
0.699
4.48
10.92
0.594
T9
1
0.704
0.704
4.46
10.84
0.417
T4
1
0.714
0.714
4.44
10.76
0.512
T38
1
0.714
0.714
4.44
10.76
0.632
T2
1
0.721
0.721
4.42
10.68
0.481
T17
1
0.756
0.756
4.30
10.20
0.535
T36
1
0.756
0.756
4.30
10.20
0.614
T12
1
0.762
0.762
4.29
10.16
0.527
T28
1
0.764
0.764
4.28
10.12
0.645
T1
1
0.770
0.770
4.26
10.04
0.497
T41
1
0.772
0.772
4.26
10.04
0.348
T48
2
1.544
0.772
4.26
10.04
0.635
T10
1
0.788
0.788
4.20
9.80
0.541
T23
1
0.796
0.796
4.17
9.68
0.580
T51
2
1.612
0.806
4.14
9.56
0.517
T13
1
0.813
0.813
4.10
9.40
0.424
T11
1
0.830
0.830
4.05
9.20
0.555
（2）全区难度指数比较图的定性分析
分析：
粗略分析5级难度系数的试题数（P≤0.199）1个,（0.200～0.399）共10个，（0.400～0.599）共23个，（0.600～0.799）共31个，（P≥0.800）共3个。
可以初步定性判断中等难度的试题略少。
（3）定量指标——难度分布率的计算
难度分布率是试卷中的试题难易程度分布是否合理的定量指标。
合理的难度分布率，既能保证试题的区分度，又能使考试成绩趋向合理的分布。
计算公式为：
公式中，P（x）为难度分布率。
P（x）值式越小,试题难度布越合理。
xi（即x1、x2、x3、x4、x5）,是隶属于5级难度系数（P≤0.19）、（0.20～0.39）、（0.4～0.59）、（0.6～0.79）、（P≥0.8）的试题满分之和;x为试卷总分值。
Bi是试题在5级难度系数分布的比例，根据测验的目的不同而确定。
例如，对于合格水平测验可以取值：
Bi={（略）}。
经研究制定的难度分布率评定标准为：
评价等级
P（x）
优秀89～100分
0.00～0.15
良好76～88分
0.16～0.30
及格60～75分
0.31～0.50
差等47～59分
0.51～0.60
劣等47分以下
>0.60
把2012级八年级2013年06月测验的试题指标汇总表的数据代入公式，计算出：
难度分布率P（x）=0.33，约折合73分，评价等级仅仅为“及格”。
说明试题难易程度分布不尽合理，有需要改进的空间。
3、从试题难度指数分布图分析异常试题的影响
在试题难度指数分布图中，以考生学科考试得分为横坐标，相应人群的得分率为纵座标，可得到难度分布曲线（红色）。
图中绿色直线表示所有试题得分率的平均值，可以作为难度分布分析的参考基准线。
试题难度指数分布图对试题命题以及学生应答状况具有很好的分析与诊断作用。
《学业质量监测与评价系统QMAS》中设计的试题难度指数分布图模块，可以十分方便地做出分析图形。
从区分度较低试题的难度指数分布图中，分析学生应答状况，需找那些导致双峰分布产生低峰（本区主要为20—35分数段）的异常试题，将对双峰分布的成因做出有力地佐证。
例如T60题，在学科考试65得分值以下
升级会员 