快速阅卷.docx
《快速阅卷.docx》由会员分享，可在线阅读，更多相关《快速阅卷.docx（29页珍藏版）》请在冰豆网上搜索。
快速阅卷
快速评卷策略
摘要
本文讨论了快速评卷的策略，对于大型竞赛，我们有多种评卷方案，则要根据不同情况，选择最佳评卷策略，既要保证对参赛者的公平与公正，还要尽量减少评阅人的工作量，属于决策模型中的最优解问题。
我们充分运用计算机仿真，Matlab编程，得到大量的数据，对两种策略进行检验，根据目标函数
确定圆桌模型为最佳评卷策略。
对于答卷数P、评阅人J、最终所选优胜者数目W一定的情况，即P=100、J=8、W=3时，我们首先制定了两种评卷策略，然后运用计算机仿真了1000次，在保证准确率
时，求出了不同淘汰率时，每个老师的平均阅卷次数最小的情况，最后选择了圆桌模型评判策略，确定在第一轮评卷后，以后每轮的筛选率定为20%。
对于P、J、W均变化的情况，我们根据选择的圆桌模型对三个参数进行一一讨论，得到以下结论：
（1）在P、W一定的情况下，评阅人J的数目越多，准确率越高，对参赛者来说越公平，但所有老师的阅卷总次数也是最高的，这将导致竞赛资金的增加，同时延长了评阅时间；
（2）在P、J一定时，最终所选优胜者数目W越多，准确率越低，由于答卷数和评阅人均一定，则每个老师的评卷次数以及所有老师的阅卷总次数始终是一定的，但是W越大，则最后确定的2W越大，最终的优胜者的确定范围就越大，老师的任务也就越重；
（3）在J、W一定时，答卷数目越多，准确率越低，同时每个老师的评卷次数以及所有老师的阅卷总次数也就越多，由于最终目标相同，评卷人数也一定，显然只有当这个团体的总任务越少的时候完成任务越快越好。
综上所述，我们需要综合考虑参赛的人数，及答卷数目，然后确定最佳的评阅人数目，对于大型竞赛，最终优胜者数目一般是一定的。
我们运用计算机仿真模拟了一次，当答卷数P=600，最终优胜者W=3时，根据程序运行结果，我们确定评阅人数最佳为J=10，准确率达到95.6%。
我们进一步大量模拟，在模拟1000次后，均能保证准确率达到95%以上，充分说明该模型的可行性。
关键词：
最优评卷方案计算机仿真圆桌评卷模型主观评分误差准确率
1.问题重述
1.1问题的背景与提出
在确定像数学建模竞赛这种形式比赛的优胜者时，常常要评阅大量的答卷，比如说，有P=100份答卷。
一个由J位评阅人组成的小组来完成评阅任务，基于竞赛资金，对于能够聘请的评阅人数量和评阅时间的限制，如果P=100，通常取J=8.
理想的情况是每个评阅人看所有的答案，并将它们一一排序，但这种方法工作量太大。
另一种方法是进行一系列筛选，在一次筛选中每个评阅人只看一定数量的的答卷，并给出分数。
为了减少所看答卷的数量，考虑如下的筛选方法：
如果答卷是排序的，则在每个评阅人给出的排序中排在最下面的30%答卷被淘汰；如果答卷没有排序，而是打分（比如说从1分到100分），则某个截止分数线以下的答卷被淘汰。
这样，通过筛选的答卷重新放在一起返回给评阅小组，重复上述过程，人们关注的是，每个评阅人看的答卷总数要显著地小于P。
评阅过程直到剩下W份答卷时停止，这些就是优胜者。
当P=100通常取W=3。
你的任务是利用排序、打分及其他方法的组合，确定一种筛选方法，按照这种方法，最后选中的W份答卷只能来自“最好的”2W份答卷（所谓“最好的”是指，我们假定存在着一种评阅人一致赞同的答卷的绝对排序）。
例如，用你给出的方法得到的最后3份答卷将全部包括在“最好的”6份答卷中，在所有满足上述要求的方法中，希望你能给出使每个评阅人所看答卷份数最少的一种方法。
注意在打分时存在系统偏差的可能，例如，对于一批答卷，一位评阅人平均给70分，而另一位可能给80分。
在你给出的方法中如何调节尺度来适应竞赛参数（P，J和W）的变化？
1.2需要解决的问题
数据的处理与分析中，我们运用Matlab进行仿真，得到两组数据，第一组数据是每份试卷应得的标准分数，即为它的绝对分数；第二组数据，考虑评委的偶然误差和系统误差，我们重新仿真，得到的数据是评委给每份试卷打出的合理分数。
为此我们需要解决的问题有：
问题一：
从答卷者的角度考虑，我们希望他们得到最公平，最符合他们答卷水平的分数，当然这需要评卷者以公平、公开以及真实的态度来评卷。
问题二：
从评卷者的角度考虑，由于参赛者很多，希望每个人的工作量不要太大，只要总工作量一定，则每个人的工作量就是一定的。
但是不同的评卷策略具有不同的总工作量，我们既要考虑评卷者的工作量，评卷分数的真实可靠性。
根据这两个问题，我们提出了两种快速评卷策略的方案，然后分别建立模型，并利用得到的数据进行检验，得到两者兼顾的最佳评卷策略。
2.模型假设
1.假设存在评委认为的绝对打分，评委的工作能力达一定的较高水准；
2.假设评委独立工作，互不干扰，评卷结果绝对公平；
3.假定每个裁判阅每份试卷的时间、费用都相等,阅卷份数与时间及费用成正比；
4.假定计算机仿真出来的数据具有较好的代表性；
3.符号说明
d：
评委偶然误差方差的上界；
e：
系统误差；
：
试卷总数
W：
待定的优胜者数目
J：
评卷者人数
F：
阅卷总次数
I：
阅卷的轮数
4.数据的获取与分析
4.1仿真原理：
假定存在着一种评阅人一致赞同的答卷的绝对排序，且排序时根据打分进行的，假定所打的分数为绝对分数。
我们运用计算机仿真的方法对数据进行模拟仿真：
（1）先对一百份试卷做编号，分别记为1，2，…100；
（2）用Matlab产生100个1到100的服从正态分布
的整数作为100份答卷的绝对分数，记为
；
（3）取常数e>0作为系统的偏差值，假设阅卷人有三种类型，分别为偏激行，中间行和保守行，令1，0，-1分别表示偏激，中间和保守，记为
；
（4）取常数d作为评委偶然误差方差的上界，产生8个服从均匀分布
的随机数
作为各个评委偶然误差的方差，记为
，在用Matlab产生一个服从正态分布
的整数，记为
；
（5）令
，则可把
做为第j位评卷人对第i份答卷所打的实际分数。
4.2仿真流程图：
5.模型的建立与求解
5.1模型的建立
最佳的评卷方案是：
总的评卷时间T和阅卷总次数F均为最小值，并且要求评判的准确度要精确，
在此，我们假设正确率达到了95%或以上的评卷策略为可接受的评卷策略。
由于阅卷总时间跟阅卷的总次数和评委的平均阅卷数量有关，因此我们建立目标函数如下：
评卷总次数
评卷总次数最少
最多评卷数目最小
模拟仿真的准确率
5.2模型的求解
针对上面的模型我们给出了两种评卷策略，并运用Matlab进行模拟仿真，得到大量的数据，并利用这些数据对两种策略进行检验，比较得出最佳评卷方案。
策略一
5.2.1策略一的分析
（1）每轮试卷分配方法。
我们的目标是使总评判过程持续时间最短，即各轮用时之和最短。
这就要求每一轮在同一淘汰率下用时一定要尽可能短。
另外对于每一轮用时取决于阅卷最多的裁判所用的时间,因此每一轮应尽可能使各个裁判阅卷数量相等,特别是第一轮,应把试卷尽可能地均分给各位裁判,以1人为一评判单位进行评判这样第一轮阅卷时间为pj*t。
（2）在每轮中,各评判单位应保留多少试卷。
我们要求在最好的2W份中选出W份作为优胜者,由于各评判单位存在着系统差异,很有可能最好的2W份都集中在一个评判单位,因此每轮（除最后一轮）淘汰后,各评判单位至少要保留前i（i>=2W）份。
于是要求每一评判单位在评判前试卷份数不少于2W,从而应有pj>2W，否则这一轮淘汰率为0。
（3）第一轮后的每轮试卷的分配方法。
第一轮淘汰后,J个裁判共选出了iJ份试卷,这iJ份试卷都有成绩,但是它们来自J个不同的裁判,各裁判给分标准肯定有差异,没有可比性,因此必须将裁判组合成若干个组,以使各评判单位的试卷数大于2W,以备下一轮的筛选。
（4）假设一个评判单位由S个裁判组成,（只考虑S>=2的情形）,如何才能公正地选出前2W份试卷.基于公正性,每个裁判必须对本单位的全体试卷都有一个公正的评价,即给一个公正的分数.这样每份试卷都有来自S个裁判的S个成绩,由于这S个裁判给分标准不一样,即系统内部的均值和方差不一样,不具等值单位,因此必须将这S个成绩,化成具有等值单位的标准分数,然后取均值作为试卷在组内排序的参评成绩才最为科学。
（5）要使目标最优,第一轮后,若上一轮有偶数个评判单位,则两两组合构成本轮的评判单位；若上一轮有奇数个评判单位,则取含裁判最多的评判单位之一直接作为本轮的评判单位,（但不需工作）,其余评判单位则两两组合构成本轮的评判单位。
根据上诉筛选策略可知，到最后一轮，只剩下前2W份答卷，此时评委从中选取最好的前W名
5.2.2策略一的求解
根据附录一中的程序，我们运用计算机仿真，得到100份试卷的绝对分数如下：
第一组
87
82
79
77
74
70
序号
2
11
7
9
5
6
第二组
87
85
78
76
74
72
序号
19
15
14
16
22
21
第三组
90
86
84
78
74
71
序号
27
33
37
31
26
29
第四组
84
83
79
79
78
77
序号
46
43
45
44
38
42
第五组
75
74
73
72
69
66
序号
53
54
59
61
62
55
第六组
100
86
80
79
78
73
序号
66
73
72
70
71
65
第七组
78
76
73
72
71
70
序号
80
77
78
85
87
76
第八组
84
84
76
71
70
68
序号
98
88
100
94
89
95
根据多次模拟，我们得到此策略在第一轮时决定筛选留下的试卷数的不同对准确率和平均每个老师评卷的次数的影响如下表所示：
10
9
8
7
6
准确率
平均数
准确率
平均数
准确率
平均数
准确率
平均数
准确率
平均数
95.2%
43
95.7%
40
95．3%
37
94.1%
34
94.3%
31
策略二
5.2.3策略二的分析
与方案一不同，我们采取了不同的淘汰策略，我们采用圆桌模型对答卷打分，评委围绕一圆桌就座对试卷进行打分：
第一轮筛选答卷时，由于答卷的区分度比较大，我们采取把100份答卷平均分配给8位评委，每位评委淘汰并选出前i份答卷，然后每位评委把选出的i份答卷交给自己右边的评委进行第二轮打分。
在第二轮打分结束时，每份试卷都有两位评委所打的分数，此时用两位评委所打的平均分作为筛选标准。
由于答卷经过第一轮的筛选，答卷的区分度减小，我们改变筛选策略，每位评委根据答卷的平均分给答卷进行排序，然后淘汰排在最下面的A%的答卷。
第三轮打分筛选策略与第二轮打分筛选策略相同
根据上面的筛选策略可知，到最后一轮的时候每位评委手上都有一份答卷，我们再从这下答卷中选取最好的前W名
5.2.4策略二的求解
我们运用Matlab软件模拟一千次的评卷（其程序见附录二），一共有100份试卷，8个老师批阅，基于平均分配的思想，其中四个老师每人批阅12份，另外四个老师每人批阅13份，淘汰率A%很大程度上决定了老师的工作量，但同时对评卷结果也有很大的影响。
由于第一轮评卷的时候区分度比较大，我们让每位老师挑选出该组成绩居高的前8位，再对淘汰后剩下的
份试卷进行细致批阅。
我们改变程序的部分参数，讨论不同淘汰率以及第一轮筛选后需要继续进行细致评卷的情况，即淘汰率和第一轮筛选后留下来的试卷份数对准确率以及平均阅卷次数的影响，对不同的情况作出下表：
10
9
8
7
6
准确率
平均数
准确率
平均数
准确率
平均数
准确率
平均数
准确率
平均数
10%
90.2%
62
95.5%
55
95．3%
48
90%
41
91.3%
35
20%
90.4%
45
95.2%
42
95.1%
37
90.4%
35
93.7%
30
30%
91.2%
38
91.6%
36
91.0%
33
90.8%
29
91.4%
28
经过多次实验，我们得出：
若以后每轮的淘汰率高于20%，准确率会降低，虽然老师的工作量减少了，但是某种程度上对参赛者的成绩也会有影响，不能很好的体现公平性；若淘汰率过低，虽然保证了成绩的绝对公平，但耗时耗力，不满足评卷次数最少的目标。
保证准确率
的条件下，通过上表可以看出，我们把第一轮以后的淘汰率定为20%时，平均每个老师的阅卷次数最少为37次。
根据附录二的程序我们选取其中的一次模拟结果进行说明：
（1）100份试卷应该得到的绝对分数：
76.9
86.4
76.7
67.3
80.3
65.1
54.7
77.7
63.1
62.3
55.9
76.0
62.0
45.8
77.0
55.8
65.9
67.4
72.4
88.3
69.5
66.2
73.5
69.6
91.5
76.6
72.9
45.4
65.5
57.8
74.9
72.6
58.6
70.8
86.2
71.0
73.6
80.8
80.8
75.2
65.3
70.7
80.6
82.9
65.5
83.9
70.4
61.7
77.1
62.9
71.5
42.3
69.2
67.8
60.8
66.0
65.8
81.9
64.0
71.5
63.5
61.0
66.9
75.6
79.0
81.7
57.2
56.9
58.0
69.9
71.7
85.2
71.3
62.9
89.3
73.2
84.3
71.5
68.4
71.3
62.1
63.8
62.6
71.8
79.2
74.2
65.6
77.4
70.3
50.8
55.8
55.8
55.8
55.8
55.8
55.8
55.8
55.8
55.8
55.8
（2）8个评委偶然误差标准差的上界：
0.989428
1.077651
0.436345
0.833705
1.663332
0.65032
2.196518
2.73173
（3）老师的偏好：
其中“0”表示该老师与绝对成绩的标准一样，即所给分数就是该试卷的绝对分数；“-5”表示该老师的要求比较严格，即所给分数比绝对分数要低5分；“5”表示该老师所给分数比绝对分数要高5分
1
2
3
4
5
6
7
8
0
-5
-5
0
0
-5
0
5
（4）每一轮评卷后每个老师进行淘汰，淘汰后该老师还需要再进行细致批阅的试卷的份数：
1
2
3
4
5
6
7
8
第一轮
12
13
12
13
12
13
12
13
第二轮
8
8
8
8
8
8
8
8
第三轮
6
6
6
6
6
6
6
6
第四轮
4
4
4
4
4
4
4
4
第五轮
3
3
3
3
3
3
3
3
第六轮
2
2
2
2
2
2
2
2
第七轮
1
1
1
1
1
1
1
1
第八轮
1
1
1
1
1
1
1
1
通过该表的数据可以轻松得到所有老师阅卷的总次数为300次，平均每个老师的评卷次数为37次。
（5）进行七轮评卷后的前八名的平均成绩和编号：
25
94
2
6
3
7
4
5
90.2
88.6
87.4
86.1
85.6
83.8
82.9
80.6
（6）此次模拟的误差率为4.80%，则准确率为95.20%，可以保证
，即这种策略是合理并且成功的。
5.3两种策略的比较
根据两种策略的结果以及该策略在评卷结果的准确率我们选择用圆桌模型，并且圆桌模型的程序简单易懂，参数易改，可以得到不同情况下的最佳评卷策略。
5.4对于P、J、W均变化时的讨论
根据附录三的Matlab程序，我们讨论了不同情况下的准确率，平均阅卷次数以及阅卷总次数，得到P、J、W中任一元素变化时的不同情况如下表所示：
P
J
W
准确率
平均阅卷次数
阅卷总次数
100
12
3
98.8%
38
456
100
10
3
98.2%
37
370
100
8
3
95.7%
38
304
100
6
3
93.2%
40
240
100
4
3
91.8%
43
172
100
8
3
95.7%
38
304
200
8
3
94.1%
50
400
300
8
3
95.8%
63
504
400
8
3
94%
75
600
500
8
3
94.4
88
704
100
8
1
98.3%
38
304
100
8
2
98.2%
38
304
100
8
3
95.7%
38
304
100
8
4
10.4%
38
304
100
8
5
5.3%
38
304
根据上表我们利用Excel分别画出了评委数J、优胜者数目W、答卷数P对准确率的影响：
根据上表我们可以轻松得出：
（1）在P、W一定的情况下，评阅人J的数目越多，准确率越高，对参赛者来说越公平，但所有老师的阅卷总次数也是最高的，这将导致竞赛资金的增加，同时延长了评阅时间；
（2）在P、J一定时，最终所选优胜者数目W越多，准确率越低，由于答卷数和评阅人均一定，则每个老师的评卷次数以及所有老师的阅卷总次数始终是一定的，但是W越大，则最后确定的2W越大，最终的优胜者的确定范围就越大，老师的任务也就越重；
（3）在J、W一定时，答卷数目越多，准确率越低，同时每个老师的评卷次数以及所有老师的阅卷总次数也就越多，由于最终目标相同，评卷人数也一定，显然只有当这个团体的总任务越少的时候完成任务越快越好。
6．模型优缺点
6.1模型优点：
1.我们针对同一目标设计了两种不同的方案，进行对比后选择了最优方案，更有说服力；
2.模型很稳定，所有参数均可改变而不改变模型的实质；
3.该模型适用于多种不同类型的竞赛；
4.我们可以通过计算机仿真得到大量的数据，检验模型的好坏
6.2模型缺点：
1.无法证明我们选择的方案以及设计的模型是最优的；
2.系统偏差和评委偶然误差没有较好的估计方法。
7.模型的改进与推广
7.1模型的改进
对于数学建模这种大型竞赛的评卷策略，我们选择圆桌模型进行评卷，原模型中，第一轮筛选完后我们每轮的淘汰率为20%，当评委的水平确定后，我们由此决定在第二轮以后，不需要将自己手中的所有试卷都交给右边的那一位老师，而是将手中的试卷按分数排名的前80%份试卷给下一位老师，再进行打分，直到最后每个老师的手中只有一份试卷为止，所有的老师再一一对每份试卷进行打分，最后求平均成绩并排名。
7.2模型的推广
本文的主要目的是学会计算机模拟一些实际系统的一般原理和基本方法，以便能用计算机对一些随机现象和复杂系统进行动态模拟，比如说计算机可以模拟工件的加工程序问题，我们的模型可以应用于不同类型的竞赛。
8.参考文献
[1]周卓基，主观评分的竞赛成绩如何进行方差分析，数理统计与管理；
[2]程淑,桂林,冀航，主观评分的归一化算法及误差分析，高等函授学报（自然科学版），第21卷第5期2007年10月；
[3]刘钦龙,谢辰，主观评分结果评价的误区与对策，湖北体育科技，第25卷第5期2006年9月；
[4]何跃兵，姚琦，评分决名次的Excel算法，电脑知识与技术
9.附录
附录一：
Matlab程序（针对策略一）
clear;clc
d=3;e=2;
a=0;b=100;c=10;n=100;m=70;
x=randn（1,n）;
x=x/std（x）*c;
x=x-mean（x）+m;
index=find（x>=a&x<=b）;
p1=fix（x（index））;
j1=p1（1:
12）;
j2=p1（13:
25）;
j3=p1（26:
37）;
j4=p1（38:
50）;
j5=p1（51:
62）;
j6=p1（63:
75）;
j7=p1（76:
87）;
j8=p1（88:
100）;
fori=1:
12
d1=randint（1,1,[0,d]）;
j0=randint（1,1,[-1,1]）;
jj=randint（1,1,[-1,1]）;
u（i）=e*j0+d1*jj;
j1（i）=j1（i）+u（i）;
end
[jp,index]=sort（j1,2）;
jp=fliplr（jp）;
index=fliplr（index）;
jp1=jp（1:
6）
index1=index（1:
6）
fori=1:
13
d1=randint（1,1,[0,d]）;
j0=randint（1,1,[-1,1]）;
jj=randint（1,1,[-1,1]）;
u（i）=e*j0+d1*jj;
j2（i）=j2（i）+u（i）;
end
[jp,index]=sort（j2,2）;
jp=fliplr（jp）;
index=fliplr（index）;
jp2=jp（1:
6）
index2=index（1:
6）+12
fori=1:
12
d1=randint（1,1,[0,d]）;
j0=randint（1,1,[-1,1]）;
jj=randint（1,1,[-1,1]）;
u（i）=e*j0+d1*jj;
j3（i）=j3（i）+u（i）;
end
[jp,index]=sort（j3,2）;
jp=fliplr（jp）;
index=fliplr（index）;
jp3=jp（1:
6）
index3=index（1:
6）+25
fori=1:
13
d1=randint（1,1,[0,d]）;
j0=randint（1,1,[-1,1]）;
jj=randint（1,1,[-1,1]）;
u（i）=e*j0+d1*jj;
j4（i）=j4（i）+u（i）;
end
[jp,index]=sort（j4,2）;
jp=fliplr（jp）;
index=fliplr（index）;
jp4=jp（1:
6）
index4=index（1:
6）+37
fori=1:
12
d1=randint（1,1,[0,d]）;
升级会员 