快速阅卷.docx

1、快速阅卷快速评卷策略摘要本文讨论了快速评卷的策略，对于大型竞赛，我们有多种评卷方案，则要根据不同情况，选择最佳评卷策略，既要保证对参赛者的公平与公正，还要尽量减少评阅人的工作量，属于决策模型中的最优解问题。我们充分运用计算机仿真，Matlab编程，得到大量的数据，对两种策略进行检验，根据目标函数确定圆桌模型为最佳评卷策略。对于答卷数P、评阅人J、最终所选优胜者数目W一定的情况，即P=100、J=8、W=3时，我们首先制定了两种评卷策略，然后运用计算机仿真了1000次，在保证准确率时，求出了不同淘汰率时，每个老师的平均阅卷次数最小的情况，最后选择了圆桌模型评判策略，确定在第一轮评卷后，以后每轮的

2、筛选率定为20%。对于P、J、W均变化的情况，我们根据选择的圆桌模型对三个参数进行一一讨论，得到以下结论：（1）在P、W一定的情况下，评阅人J的数目越多，准确率越高，对参赛者来说越公平，但所有老师的阅卷总次数也是最高的，这将导致竞赛资金的增加，同时延长了评阅时间；（2）在P、J一定时，最终所选优胜者数目W越多，准确率越低，由于答卷数和评阅人均一定，则每个老师的评卷次数以及所有老师的阅卷总次数始终是一定的，但是W越大，则最后确定的2W越大，最终的优胜者的确定范围就越大，老师的任务也就越重；（3）在J、W一定时，答卷数目越多，准确率越低，同时每个老师的评卷次数以及所有老师的阅卷总次数也就越多，由于

3、最终目标相同，评卷人数也一定，显然只有当这个团体的总任务越少的时候完成任务越快越好。综上所述，我们需要综合考虑参赛的人数，及答卷数目，然后确定最佳的评阅人数目，对于大型竞赛，最终优胜者数目一般是一定的。我们运用计算机仿真模拟了一次，当答卷数P=600，最终优胜者W=3时，根据程序运行结果，我们确定评阅人数最佳为J=10，准确率达到95.6%。我们进一步大量模拟，在模拟1000次后，均能保证准确率达到95%以上，充分说明该模型的可行性。关键词：最优评卷方案 计算机仿真 圆桌评卷模型 主观评分 误差 准确率1.问题重述1.1问题的背景与提出在确定像数学建模竞赛这种形式比赛的优胜者时，常常要评阅大量

4、的答卷，比如说，有P=100份答卷。一个由J位评阅人组成的小组来完成评阅任务，基于竞赛资金，对于能够聘请的评阅人数量和评阅时间的限制，如果P=100，通常取J=8.理想的情况是每个评阅人看所有的答案，并将它们一一排序，但这种方法工作量太大。另一种方法是进行一系列筛选，在一次筛选中每个评阅人只看一定数量的的答卷，并给出分数。为了减少所看答卷的数量，考虑如下的筛选方法：如果答卷是排序的，则在每个评阅人给出的排序中排在最下面的30%答卷被淘汰；如果答卷没有排序，而是打分（比如说从1分到100分），则某个截止分数线以下的答卷被淘汰。这样，通过筛选的答卷重新放在一起返回给评阅小组，重复上述过程，人们关注

5、的是，每个评阅人看的答卷总数要显著地小于P。评阅过程直到剩下W份答卷时停止，这些就是优胜者。当P=100通常取W=3。你的任务是利用排序、打分及其他方法的组合，确定一种筛选方法，按照这种方法，最后选中的W份答卷只能来自“最好的”2W份答卷（所谓“最好的”是指，我们假定存在着一种评阅人一致赞同的答卷的绝对排序）。例如，用你给出的方法得到的最后3份答卷将全部包括在“最好的”6份答卷中，在所有满足上述要求的方法中，希望你能给出使每个评阅人所看答卷份数最少的一种方法。注意在打分时存在系统偏差的可能，例如，对于一批答卷，一位评阅人平均给70分，而另一位可能给80分。在你给出的方法中如何调节尺度来适应竞赛

6、参数（P，J和W）的变化？1.2需要解决的问题数据的处理与分析中，我们运用Matlab进行仿真，得到两组数据，第一组数据是每份试卷应得的标准分数，即为它的绝对分数；第二组数据，考虑评委的偶然误差和系统误差，我们重新仿真，得到的数据是评委给每份试卷打出的合理分数。为此我们需要解决的问题有：问题一：从答卷者的角度考虑，我们希望他们得到最公平，最符合他们答卷水平的分数，当然这需要评卷者以公平、公开以及真实的态度来评卷。问题二：从评卷者的角度考虑，由于参赛者很多，希望每个人的工作量不要太大，只要总工作量一定，则每个人的工作量就是一定的。但是不同的评卷策略具有不同的总工作量，我们既要考虑评卷者的工作量，

7、评卷分数的真实可靠性。根据这两个问题，我们提出了两种快速评卷策略的方案，然后分别建立模型，并利用得到的数据进行检验，得到两者兼顾的最佳评卷策略。2.模型假设1. 假设存在评委认为的绝对打分，评委的工作能力达一定的较高水准；2. 假设评委独立工作，互不干扰，评卷结果绝对公平；3. 假定每个裁判阅每份试卷的时间、费用都相等, 阅卷份数与时间及费用成正比；4. 假定计算机仿真出来的数据具有较好的代表性；3.符号说明d ：评委偶然误差方差的上界；e ：系统误差；：试卷总数W：待定的优胜者数目J ：评卷者人数F ：阅卷总次数I ：阅卷的轮数4.数据的获取与分析4.1 仿真原理：假定存在着一种评阅人一致赞

8、同的答卷的绝对排序，且排序时根据打分进行的，假定所打的分数为绝对分数。我们运用计算机仿真的方法对数据进行模拟仿真：（1）先对一百份试卷做编号，分别记为1，2，100；（2）用Matlab产生100个1到100的服从正态分布的整数作为100份答卷的绝对分数，记为；（3）取常数e0作为系统的偏差值，假设阅卷人有三种类型，分别为偏激行，中间行和保守行，令1，0，-1分别表示偏激，中间和保守，记为；（4）取常数d作为评委偶然误差方差的上界，产生8个服从均匀分布的随机数作为各个评委偶然误差的方差，记为，在用Matlab产生一个服从正态分布的整数，记为；（5）令，则可把做为第j位评卷人对第i份答卷所打的实

9、际分数。4.2 仿真流程图：5.模型的建立与求解5.1 模型的建立最佳的评卷方案是：总的评卷时间T和阅卷总次数F均为最小值，并且要求评判的准确度要精确，在此，我们假设正确率达到了95%或以上的评卷策略为可接受的评卷策略。由于阅卷总时间跟阅卷的总次数和评委的平均阅卷数量有关，因此我们建立目标函数如下：评卷总次数 评卷总次数最少 最多评卷数目最小 模拟仿真的准确率 5.2 模型的求解 针对上面的模型我们给出了两种评卷策略，并运用Matlab进行模拟仿真，得到大量的数据，并利用这些数据对两种策略进行检验，比较得出最佳评卷方案。策略一5.2.1策略一的分析（1)每轮试卷分配方法。我们的目标是使总评判过

10、程持续时间最短，即各轮用时之和最短。这就要求每一轮在同一淘汰率下用时一定要尽可能短。另外对于每一轮用时取决于阅卷最多的裁判所用的时间, 因此每一轮应尽可能使各个裁判阅卷数量相等, 特别是第一轮, 应把试卷尽可能地均分给各位裁判, 以1 人为一评判单位进行评判这样第一轮阅卷时间为 pj*t。（2)在每轮中, 各评判单位应保留多少试卷。我们要求在最好的2W份中选出W 份作为优胜者, 由于各评判单位存在着系统差异, 很有可能最好的2W份都集中在一个评判单位, 因此每轮(除最后一轮)淘汰后, 各评判单位至少要保留前i（i=2W） 份。于是要求每一评判单位在评判前试卷份数不少于2W,从而应有pj 2 W

11、，否则这一轮淘汰率为0 。（3)第一轮后的每轮试卷的分配方法。第一轮淘汰后, J 个裁判共选出了 iJ份试卷, 这iJ份试卷都有成绩, 但是它们来自J 个不同的裁判, 各裁判给分标准肯定有差异, 没有可比性, 因此必须将裁判组合成若干个组, 以使各评判单位的试卷数大于2W, 以备下一轮的筛选。（4)假设一个评判单位由S 个裁判组成, (只考虑S =2 的情形) , 如何才能公正地选出前2W份试卷.基于公正性, 每个裁判必须对本单位的全体试卷都有一个公正的评价, 即给一个公正的分数. 这样每份试卷都有来自S 个裁判的S 个成绩, 由于这S 个裁判给分标准不一样,即系统内部的均值和方差不一样, 不

12、具等值单位, 因此必须将这S 个成绩, 化成具有等值单位的标准分数, 然后取均值作为试卷在组内排序的参评成绩才最为科学。（5)要使目标最优, 第一轮后, 若上一轮有偶数个评判单位, 则两两组合构成本轮的评判单位；若上一轮有奇数个评判单位, 则取含裁判最多的评判单位之一直接作为本轮的评判单位, (但不需工作) , 其余评判单位则两两组合构成本轮的评判单位。根据上诉筛选策略可知，到最后一轮，只剩下前2W份答卷，此时评委从中选取最好的前W名5.2.2策略一的求解根据附录一中的程序，我们运用计算机仿真，得到100份试卷的绝对分数如下：第一组878279777470序号2117956第二组8785787

13、67472序号191514162221第三组908684787471序号273337312629第四组848379797877序号464345443842第五组757473726966序号535459616255第六组1008680797873序号667372707165第七组787673727170序号807778858776第八组848476717068序号9888100948995根据多次模拟，我们得到此策略在第一轮时决定筛选留下的试卷数的不同对准确率和平均每个老师评卷的次数的影响如下表所示：109876准确率平均数准确率平均数准确率平均数准确率平均数准确率平均数95.2%4395.7%

14、40953%3794.1%3494.3%31策略二5.2.3策略二的分析与方案一不同，我们采取了不同的淘汰策略，我们采用圆桌模型对答卷打分，评委围绕一圆桌就座对试卷进行打分：第一轮筛选答卷时，由于答卷的区分度比较大，我们采取把100份答卷平均分配给8位评委，每位评委淘汰并选出前i份答卷，然后每位评委把选出的i份答卷交给自己右边的评委进行第二轮打分。在第二轮打分结束时，每份试卷都有两位评委所打的分数，此时用两位评委所打的平均分作为筛选标准。由于答卷经过第一轮的筛选，答卷的区分度减小，我们改变筛选策略，每位评委根据答卷的平均分给答卷进行排序，然后淘汰排在最下面的A%的答卷。第三轮打分筛选策略与第二

15、轮打分筛选策略相同根据上面的筛选策略可知，到最后一轮的时候每位评委手上都有一份答卷，我们再从这下答卷中选取最好的前W名5.2.4 策略二的求解我们运用Matlab软件模拟一千次的评卷（其程序见附录二），一共有100份试卷，8个老师批阅，基于平均分配的思想，其中四个老师每人批阅12份，另外四个老师每人批阅13份，淘汰率A%很大程度上决定了老师的工作量，但同时对评卷结果也有很大的影响。由于第一轮评卷的时候区分度比较大，我们让每位老师挑选出该组成绩居高的前8位，再对淘汰后剩下的份试卷进行细致批阅。我们改变程序的部分参数，讨论不同淘汰率以及第一轮筛选后需要继续进行细致评卷的情况，即淘汰率和第一轮筛选后

16、留下来的试卷份数对准确率以及平均阅卷次数的影响，对不同的情况作出下表：109876准确率平均数准确率平均数准确率平均数准确率平均数准确率平均数10%90.2%6295.5%55953%4890%4191.3%3520%90.4%4595.2%4295.1%3790.4%3593.7%3030%91.2%3891.6%3691.0%3390.8%2991.4%28经过多次实验，我们得出：若以后每轮的淘汰率高于20%，准确率会降低，虽然老师的工作量减少了，但是某种程度上对参赛者的成绩也会有影响，不能很好的体现公平性；若淘汰率过低，虽然保证了成绩的绝对公平，但耗时耗力，不满足评卷次数最少的目标。保证

17、准确率的条件下，通过上表可以看出，我们把第一轮以后的淘汰率定为20%时，平均每个老师的阅卷次数最少为37次。 根据附录二的程序我们选取其中的一次模拟结果进行说明：（1）100份试卷应该得到的绝对分数：76.986.476.767.380.365.154.777.763.162.355.976.062.045.877.055.865.967.472.488.369.566.273.569.691.576.672.945.465.557.874.972.658.670.886.271.073.680.880.875.265.370.780.682.965.583.970.461.777.162.9

18、71.542.369.267.860.866.065.881.964.071.563.561.066.975.679.081.757.256.958.069.971.785.271.362.989.373.284.371.568.471.362.163.862.671.879.274.265.677.470.350.855.855.855.855.855.855.855.855.855.855.8（2）8个评委偶然误差标准差的上界：0.9894281.0776510.4363450.8337051.6633320.650322.1965182.73173(3)老师的偏好：其中“0”表示该老师与

19、绝对成绩的标准一样，即所给分数就是该试卷的绝对分数；“-5”表示该老师的要求比较严格，即所给分数比绝对分数要低5分；“5”表示该老师所给分数比绝对分数要高5分123456780-5-500-505（4）每一轮评卷后每个老师进行淘汰，淘汰后该老师还需要再进行细致批阅的试卷的份数：12345678第一轮1213121312131213第二轮88888888第三轮66666666第四轮44444444第五轮33333333第六轮22222222第七轮11111111第八轮11111111通过该表的数据可以轻松得到所有老师阅卷的总次数为300次，平均每个老师的评卷次数为37次。（5）进行七轮评卷后的前

20、八名的平均成绩和编号：259426374590.288.687.486.185.683.882.980.6（6）此次模拟的误差率为4.80%，则准确率为95.20%，可以保证，即这种策略是合理并且成功的。5.3 两种策略的比较根据两种策略的结果以及该策略在评卷结果的准确率我们选择用圆桌模型，并且圆桌模型的程序简单易懂，参数易改，可以得到不同情况下的最佳评卷策略。5.4 对于P、J、W均变化时的讨论根据附录三的Matlab程序，我们讨论了不同情况下的准确率，平均阅卷次数以及阅卷总次数，得到P、J、W中任一元素变化时的不同情况如下表所示：PJW准确率平均阅卷次数阅卷总次数10012398.8%38

21、45610010398.2%373701008395.7%383041006393.2%402401004391.8%431721008395.7%383042008394.1%504003008395.8%635044008394%756005008394.4887041008198.3%383041008298.2%383041008395.7%383041008410.4%38304100855.3%38304根据上表我们利用Excel分别画出了评委数J、优胜者数目W、答卷数P对准确率的影响：根据上表我们可以轻松得出：（1）在P、W一定的情况下，评阅人J的数目越多，准确率越高，对参赛者来

22、说越公平，但所有老师的阅卷总次数也是最高的，这将导致竞赛资金的增加，同时延长了评阅时间；（2）在P、J一定时，最终所选优胜者数目W越多，准确率越低，由于答卷数和评阅人均一定，则每个老师的评卷次数以及所有老师的阅卷总次数始终是一定的，但是W越大，则最后确定的2W越大，最终的优胜者的确定范围就越大，老师的任务也就越重；（3）在J、W一定时，答卷数目越多，准确率越低，同时每个老师的评卷次数以及所有老师的阅卷总次数也就越多，由于最终目标相同，评卷人数也一定，显然只有当这个团体的总任务越少的时候完成任务越快越好。6模型优缺点6.1模型优点：1. 我们针对同一目标设计了两种不同的方案，进行对比后选择了最优

23、方案，更有说服力；2. 模型很稳定，所有参数均可改变而不改变模型的实质；3. 该模型适用于多种不同类型的竞赛；4. 我们可以通过计算机仿真得到大量的数据，检验模型的好坏6.2模型缺点：1. 无法证明我们选择的方案以及设计的模型是最优的；2. 系统偏差和评委偶然误差没有较好的估计方法。7.模型的改进与推广7.1模型的改进对于数学建模这种大型竞赛的评卷策略，我们选择圆桌模型进行评卷，原模型中，第一轮筛选完后我们每轮的淘汰率为20%，当评委的水平确定后，我们由此决定在第二轮以后，不需要将自己手中的所有试卷都交给右边的那一位老师，而是将手中的试卷按分数排名的前80%份试卷给下一位老师，再进行打分，直到

24、最后每个老师的手中只有一份试卷为止，所有的老师再一一对每份试卷进行打分，最后求平均成绩并排名。7.2模型的推广 本文的主要目的是学会计算机模拟一些实际系统的一般原理和基本方法，以便能用计算机对一些随机现象和复杂系统进行动态模拟，比如说计算机可以模拟工件的加工程序问题，我们的模型可以应用于不同类型的竞赛。8.参考文献1 周卓基，主观评分的竞赛成绩如何进行方差分析，数理统计与管理；2 程淑,桂林,冀航，主观评分的归一化算法及误差分析，高等函授学报(自然科学版)，第21卷第5期2007年10月；3 刘钦龙,谢辰，主观评分结果评价的误区与对策，湖北体育科技，第25卷第5期2006年9月；4 何跃兵，姚

25、琦，评分决名次的Excel算法，电脑知识与技术9.附录附录一：Matlab程序（针对策略一）clear;clcd=3;e=2;a =0; b = 100; c =10; n = 100;m = 70;x = randn(1,n); x = x/std(x)*c; x = x -mean(x)+m; index = find(x=a & x=b); p1= fix(x(index);j1=p1(1:12);j2=p1(13:25);j3=p1(26:37);j4=p1(38:50);j5=p1(51:62);j6=p1(63:75);j7=p1(76:87);j8=p1(88:100);for

26、i=1:12d1=randint(1,1,0,d);j0=randint(1,1,-1,1);jj=randint(1,1,-1,1); u(i)=e*j0+d1*jj; j1(i)=j1(i)+u(i); end jp,index=sort(j1,2); jp=fliplr(jp); index=fliplr(index); jp1=jp(1:6) index1=index(1:6) for i=1:13 d1=randint(1,1,0,d);j0=randint(1,1,-1,1);jj=randint(1,1,-1,1); u(i)=e*j0+d1*jj; j2(i)=j2(i)+u(

27、i); end jp,index=sort(j2,2); jp=fliplr(jp); index=fliplr(index); jp2=jp(1:6) index2=index(1:6)+12 for i=1:12 d1=randint(1,1,0,d);j0=randint(1,1,-1,1);jj=randint(1,1,-1,1); u(i)=e*j0+d1*jj; j3(i)=j3(i)+u(i); end jp,index=sort(j3,2); jp=fliplr(jp); index=fliplr(index); jp3=jp(1:6) index3=index(1:6)+25 for i=1:13 d1=randint(1,1,0,d);j0=randint(1,1,-1,1);jj=randint(1,1,-1,1); u(i)=e*j0+d1*jj; j4(i)=j4(i)+u(i); end jp,index=sort(j4,2); jp=fliplr(jp); index=fliplr(index); jp4=jp(1:6) index4=index(1:6)+37for i=1:12 d1=randint(1,1,0,d);