对公平的竞赛评卷系统的讨论概要.docx
《对公平的竞赛评卷系统的讨论概要.docx》由会员分享，可在线阅读，更多相关《对公平的竞赛评卷系统的讨论概要.docx（23页珍藏版）》请在冰豆网上搜索。
对公平的竞赛评卷系统的讨论概要
对公平的竞赛评卷系统的讨论
摘要
本文讨论了数学建模考试答卷评阅的公正性问题。
1.答卷编码的加密与解密。
本题采用矩阵转置的数学方法,以及计算机中数字的进制转化,对答卷编码进行矩阵转置、各元素的进制转化等一系列加密,进而得到密文。
解密过程与加密过程相反。
2.答卷的分配问题。
在求解过程中时将此问题分为两大步骤,第一是将评委分配给各个题组,第二是针对相应题组的评委对答卷的分配。
进行评委分配时,我们根据最小方差法利用了Lingo程序确定出A、B、C、D题分别需要分配8、9、4、4名评委,但这组数据不能完全满足题意,故结合问题实际对数据微调,得到A、B、C、D题分别需要分配8、8、5、4名评委,再分别针对4个题组,以题组内所有老师对某学校的工作量之和等于学校在该题组中应评阅的次数为约束条件,以某题组每名教师工作量与总工作量的方差、该题组中所有评委评阅过的学校数总和及其与某评委评阅学校数的方差为目标函数,建立多目标非线性数学模型,对目标函数加权,转化为单目标非线性数学模型。
3.答卷的一致性问题。
运用肯德尔和谐系数建立数学模型,计算出评分一致性的肯德尔和谐系数,通过肯德尔和谐系数的大小判断一致性。
4.最终的分数调整计算公式。
不公平和尺度差由多方面构成,所以对不公平数据的调整从处理评委的公平性和尺度偏差两方面着手。
通过调和平均以及加权求出它们各自的调整公式,然后二者结合求出最终调整公式。
5.对评卷中采用百分制还是等级制的讨论,通过运用计算调和平均数和对比标准偏差大小的方法,得出应用百分制较等级制更好的结论。
模型还可推广到教育体系的其他考试的试卷加密以及评阅工作中。
例如,全国英语等级考试,全国计算机等级考试等。
关键字肯德尔和谐系数;最小方差法;置信区间;调和平均数
一、问题重述
数学建模竞赛吸引了众多的大学生、研究生甚至中学生的参与,越来越多的人关心竞赛评卷的公平性。
现今大多数的评卷工作是这样进行的:
先将答卷编成密号,评委由各参赛学校（20-50所派出,按不同的题目分成几个题组,每个题组由M个评委组成,评阅N份答卷,每份答卷经L个评委评阅,评委对每份答卷给出等级分（A+,A,A-,B+,B,B-,C+,C,C-,D,如果L个评委给出的分数基本一致,就给出这份答卷的平均分,否则需讨论以达成一致（其中M=5-10,N=60-200,L=3-5。
现在需要你解决如下问题:
1.有A,B,C,D四个题目,P（P≥M所学校参赛,给出一种答卷编号加密和解密的数学公式方法（其中题号为明号;要求方法简单易算、可随意变换且保密性能好;对你的方法给出分析。
2.每个题组的M个评委来自不同学校,给出一种评阅答卷分配的数学公式方法,要求回避本校答卷,并且每个评委评阅的答卷尽可能广泛,并满足某些特殊的要求。
3.给出评分一致性或公正性的检验方法,该方法要求对每个评委的公平性给出评价（某评委分数普遍给的偏高或低属于尺度偏差,不应算作不公平,可在下面的问题中调整。
4.给出最终的分数调整计算公式。
该公式要处理那些可能出现的“不公平”,及尺度偏差。
对可能出现的“不公平”构造例子,说明你的方法。
5.对评卷中的其他问题（如采用百分制还是等级分,一份答卷由几个评委评阅可以满足既经济又公平,等等提出你的看法和根据。
6.假定有35所学校298个参赛队参赛,数据如附表。
其中:
数字前两位代表学校,甲组选做A,B题;乙组选做C,D题;25名评委所属的学校编号为:
1-17,20,21,22,24,26,28,29,30。
每份试卷经四位评委评阅,编号为15,22的只容许评C,D题,编号为26的只容许评A,B题,编号为1,4,6,12,16的评委要求评A题,编号为2,5,7,10的评委要求评B题;编号为24的评委要求评C题,编号为29的评委要求评D题。
其余按所在学校的甲、乙组别及个人的要求安排。
要求对问题1,2给出具体的算法及结果。
对问题3,4,5给出模拟数据再进行分析和运算。
二、问题分析
问题一需要给出一种答卷编号加密和解密的数学公式方法（其中题号为明号;要求方法简单易算、可随意变换且保密性能好。
由于参加该次数学建模大赛的团队多,数据庞大,故将要采用把原始数据转化为矩阵的形式,对矩阵进行各种变换,而后计划再将结合计算机中的进位转换方式,将矩阵中各元素转换成十六进制,即将得到密文。
解码的过程与加密相反,即将先进行仅为转换,再进行矩阵转置,即可得到明文。
针对问题二给出一种评阅答卷分配的数学公式方法,要求回避本校答卷,并且每个评委评阅的答卷尽可能广泛,并满足某些特殊的要求。
将采用先利用最小
方差法以总评委人数为约束条件,以评委阅卷最小方差为目标函数,求出每组分配的评委人数,而后建立以评委不能评阅本校答卷,以及评委工作量相当为约束条件的数学模型,利用Matlab软件求解,最终将得到广泛度较大的评委评阅安排表。
问题三在不考虑某评委分数普遍给的偏高或低的影响,讨论评分一致性或公正性的方法。
由于在题二中我们关于各组评委和试卷的分配达到了最大的公平度,因此对于大量试卷来说,每个评委老师分配到的试卷量之差可以忽略不计。
并对每名评委的打分采与运用肯德尔和谐系数公式来计算其不公平程度。
问题四需要求出最终的分数调整计算公式。
结合第三问可知一个公平的分数不仅与评委评判的尺度偏差有关,也与评委评判的公平度有关。
所以,我们将对每份分数求其置信区间,挑出区间之外的打分,这些跳出点即为不公平点,而后再对跳出点的不公平度和尺度偏差分别进行调整,然后将二者结合得到最终的分数调整计算公式。
问题五百分制与等级制问题。
对于在建模考试中,是采用百分制还是等级制,本文将先罗列出百分制与等级制各自的优缺点,而后再采用举例的方法说明到底哪种方法更优。
三、基本假设
1.学生的答卷水平符合正态分布;
2.阅卷老师在评审试卷时自主独立,不受外界因素的干扰;
3.每名阅卷老师评阅到好、差试卷的概率相等。
四、符号表示
符号名称符号说明
N试卷分组后每组的试卷数
j
M评委分组后每组的评委数
j
M试卷编号的明文矩阵
r肯德尔和谐系数
w
L每份试卷被不同评委评阅的总次数
Q各组分到的评委数
i
x第j份试卷初次分数的平均值
j
x第i位评委对第j份试卷的评判分数
ij
ijy第i位评委对第j所学校的阅卷数
五、模型建立与求解
5.1答卷编号加密和解密的数学公式
原始的消息称为明文,而加密后的消息称为密文。
从明文到密文的变换过程成为加密,从密文到明文的变换过程称为解密。
本题的要求是给出一种方法简单易算、可随意变换且保密性能好答卷编号加密和解密的数学公式方法,即将答卷编号加密成密文。
具体过程如下:
1.将题目原始数据写成一个3010⨯矩阵,此时的矩阵称为明文矩阵M。
2.对明文矩阵M进行转置,形成一个1030⨯阶新矩阵1M。
3.将新矩阵1M写成数组形式,并对数组每个元素乘以10在加上3得到数组Q。
4.数组Q的每个元素除以53,将每个元素的商乘以100再加上它们各自的余数,即得到新数组1Q。
5.新数组1Q中每个元素的每个位数写成一个22⨯矩阵,形成一个矩阵组。
6.将矩阵组的每个小矩阵进行转置,再对每个元素都转化为二进制数,并将每个小矩阵向左循环移动三位,得到新矩阵组。
7.新矩阵组的每个元素转化成十六进制,即得到密文矩阵。
根据题目的要求,各答卷的题号为明号,所以只需在得到的密文后加上题号即可得到完整的序号密文。
在解密过程中,只需进行与加密过程相反的运算即可。
运用MATLAB软件计算为各答卷序号加密。
部分答卷加密后所得密文如表1所示（全部密文见附录1:
明文密文明文密文明文密文明文密文明文密文明文密文明文密文010107150201051205070513080105141001051513010516150175120102751602024513050845140802451510024516130245171502151401038A840203371005093711080337121003371313033714150307110104C11C0204CC810510348C08043C8010043C8813043C8115043C8101059C8102059C8905111212080512111005C0141305C8101505C818010661210206A11C0512532008062227100611141306111C16011310010726270207421B051342140807421C10075426130754271602A214010812140208121C0514252008082521100825221308C21416031626
解密过程与加密的过程相反。
具体过程如下:
1.将密文写成矩阵10⨯30矩阵,此时的矩阵称为密文矩阵组w。
2.将密文矩阵组w每个元素转化为二进制,并向右循环移动三位,得到新矩阵组R。
3.对新矩阵组R中的每个小矩阵进行转置明文矩阵M进行转置,形成一个1030⨯阶新矩阵1M。
3:
将新矩阵1M写成数组形式,并对数组每个元素乘以10在加上3得到数组Q。
4:
数组Q的每个元素除以53,将每个元素的商乘以100再加上它们各自的余数,即得到新数组1Q。
5:
新数组1Q中每个元素的每个位数写成一个22⨯矩阵,形成一个矩阵组。
6:
将矩阵组的每个小矩阵进行转置,再对每个元素都转化为二进制数,并将每个小矩阵向左循环移动三位,得到新矩阵组。
7:
新矩阵组的每个元素转化成十六进制,即得到密文矩阵。
问题一中计算得到的明文密文对照表,该表在横向上表面上看起来密文是连续的,但是将密文转化成明文后,就会发现,这是属于不同学校的答卷;在竖向上,该表无规律可循。
故此表符合题目要求,是一张正确的明文密文对照表。
5.2评阅答卷分配的数学公式方法
每个题组的M个评委来自不同学校,给出一种答卷编号分配的数学公式方法,要求回避本校答卷,并且每个评委评阅的答卷尽可能广泛,并满足某些特殊要求。
分配答卷分两步:
对题组分配评委;对评委分配试卷。
5.2.1评阅答卷的评委分配
由于不同的题组的试卷数量不同,应使每位评委评阅的答卷数量尽可能平均,即各题组答卷总数与评阅该题组的评卷老师的人数成正比。
确定每个题组所需求得评卷老师的人数后,先考虑安排有特殊要求的老师,然后根据评阅老师要回避本校答卷,即保证评卷老师不能评阅所在学校试卷,将剩余的阅卷老师进行随机分配,即得到试卷分配的方法。
根据题中给出的条件,共有298份试卷,25名评卷老师进行评阅,共四组题目分别为A、B、C、D,其中,A题答卷数951=N,B题答卷数1072=N,C题答卷数503=N,D题答卷数464=N。
运用最小方差的数学方法以各组需分配评卷老师人数为自变量,各评卷教师评阅试卷数目方差最小建立如下模型:
⎪⎪⎪⎩
⎪⎪⎪⎨⎧
=⨯-+-+-+-=∑=为正整数、、、43214
1
222225
41]44625298（35025298（210725298（19525298min[（QQQQQQQQQyii（1利用Lingo求解得4Q,4Q,9Q,8Q4321====。
即A题需分配8名评委,B题需分配9名评委,C题需分配4名评委,D题需分配4名评委。
根据题目知编号为22的阅卷老师只能评阅C、D题,而C、D题两组都只分配到4名评阅老师,又由于编号22所在的学校只做C、D题,当评阅22所在学校的试卷时,22要回避,故此时不能满足每份试卷每份试卷经四位评委评阅。
故要对计算的数据进行调整。
调整后的各组人数安排为:
A组8人、B组8人、C组5人、D组4人。
又由于某些评委有特殊要求,如编号为15的只容许评C,D题,编号为26的只容许评A,B题,编号为1,4,6,12,16的评委要求评A题,编号为2,5,7,10的评委要求评B题;编号为24的评委要求评C题,编号为29的评委要求评D题,并根据已调整的每个题组所需评委数目,我们将评委的分配情况绘制成表1。
表1分配评委结果
题号评委编号
A1,4,6,12,16,20,21,24
B2,5,7,10,26,27,28,29,30
C3,8,9,14,22D
11,13,15,17
5.2.2评委评阅的试卷分配
分配试卷时应保证每名评委答卷的广泛度较高、工作量较为平均与每所学校的试卷均改完,从而建立以某题组的所有老师对某学校的工作量之和等于学校在该题组中应评阅的次数为约束条件,以某题组每名教师工作量与总工作量的方差、该题组中所有评委评阅过的学校数总和及其与某评委评阅学校数的方差为目标函数,建立多目标非线性数学模型:
目标函数为:
∑∑
==8
1
19
1max
ijij
p（2
∑∑
∑∑
====-
8
1
2
19
1
8
1
19
1
8
（
min
ijijijij
pp（3
∑∑
==-
⨯8
1
2
19
1
8
495（
minijijy（4
stij
iij
by
=∑=8
1
1
=∀j
其中
p是0-1变量,当ijy为零时,ijp也为零;当ijy为不零时,ijp为1。
ij
对目标函数进行加权,将多目标非线性函数转化为单目标非线性函数。
利用matlab软件进行求解,得到评委老师评阅的试卷编号如下:
A组答卷的分配如表2所示（其余各组分配表见附录四:
表2A组答卷的分配
A组题各评委老师答卷分配情况
1461
216202124020
30101010
4010
501080111011301150301011701180121012
6012
70130020104050207020
803030305040104030404050705080408041005020504050505060610070305110602060406060608060
9080408090705070607070710071108010906090708100813081408170902090311031104090809091002100410051008130113021107110812011206120712101402140513031304130713121313140117011702141014111501150416041605190119031703170417101805180619011806020301010104010501080111011302010301011701180121012601270130040404050207020803030305040104030506050705080408041005020504050506090610070305110602060406060608080108040809070507060707071007110903090609070810081308140817090210081103110409080909100210041005121013011302110711081201120612071401140214051303130413071312131316051701170214101411150115041604030101151903170317041710180501150906020102030101010401050108011104031703011301170118012101260127050505060405020702080303030504010608060905070508040804100502050407110801090907030511060206040606090209030804080907050706070707101005100801300907081008130814081712071210110311040908061010021004131314011301130211071108120112061604160514021405130313041307131218061901170117021410141115011504
040301130115190304041704171018050609013002010203010101040105010804010111040403010117011801210126050405050506040502070208030303050606060801270507050804080410050207100711080106100703051106020604081709020903080408090705070607071004100510080906090708100813081412061207121011031104090809091002131213131401130113021107110812011504160416051402140513031304130718051806190117011702141014111501
1903
1703
1704
1710
5.2.3评阅教师答卷广泛度检验
定义:
评阅教师答卷广泛度为某教师评阅试卷的学校数与参加该次比赛并做该组题目的学校总数。
以ip表示第i名评阅教师的评阅广泛度,iN评阅教师评阅总的学校数,jN第i组总的学校数目,其中=j1、2、3、4。
j
iiN
Np=
（5
这里计算各组的各个评阅教师的广泛度,由上表中可以得到各组的答卷安排以及各组的学校总数,计算可得下表:
表325位评委的广泛度
评委编号123456789广泛度94.9%89.5%94.4%94.9%89.5%89.4%94.7%88.9%100%评委编号101112131415161720广泛度94.7%94.1%85.2%94.1%94.4%100%89.4%100%94.7%评委编号21222426282930广泛度89.4%100%94.9%89.5%94.7%89.5%94.7%
表3数据显示,在保证每份答卷由四名评委评阅,以及评委要回避本学校的答卷的前提下,所有的评委的阅卷广泛度都在85%以上,由此可以说明,评阅答卷的分配满足了所有评委阅卷尽可能广泛的要求。
5.3评分一致性或公正性的检验方法
根据题意不将尺度偏差定义为不公平,以及题二中最大广泛度的给评委分配试卷的情况,可对评分一致性作如下理解:
当每个评委所评试卷数目相同为S,每份试卷被L位老师评阅时,评分一致性即所有试卷成绩的一致性。
由于原始成绩由等级（A+,A,A-,B+,B,B-,C+,C,C-,D表示不利于计算,故将原始等级用等级（1,2,3,4,5,6,7,8,9,10表示。
此时,可应用肯德尔系数来计算评分的一致性。
若每个评委对不同的试卷的评分没有相同等级,肯德尔系数计算公式为:
2
3
1（
12
R
wssrKnn=
-（6
若每个评委对不同的试卷的评分有相同等级,肯德尔系数计算公式为:
2
3
1（12
R
wssrKnnkT
=
--∑（7
其中
3
12
mmT-=∑∑
2
2（iRi
RssR
n
=
-
∑∑
wr表示肯德尔和谐系数
K表示等级评定者的数目,即变量数,在模型中K=L
n表示评定对象的数目,在模型中n=S
R表示评定对象获得的K个等级之和
Rss表示R
的离差平方和
m为相同等级的数目
根据实际情况可知:
每位评委所评的试卷等级大致分布成正态分布,所以同一位评委很可能给不同的试卷相同的等级,所以对于本题应取用公式
2
3
1（12
R
wssrKnnkT
=
--∑
一致性评判方法为:
01wr≤≤,wr的值越靠近1,评分的一致性越高;反之越低。
当wr小于某个固定的值δ（0<δ<1时,说明此试卷需进行重新评分。
先给出如下示例:
表4分数样本1
试卷1试卷2试卷3试卷4试卷5试卷6试卷7试卷8评委155445556评委2
65
746655
评委3335610455评委445564346等级和R1818212025181922等级和的平方2
R
324
324
441
400
625
324
361
484
计算得到75.26=w
r
5.4最终分数的计算公式
根据实际情况可知,评委所评判分数的公平性,很大程度上与评委的水平、情绪、意愿、评判标准等有很大的关系,而这些也就是题中所指评委的公平性和尺度偏差,所以对不公平数据的调整应从处理评委的公平性和尺度偏差两方面着手。
通过调和平均以及加权求出它们各自的调整公式,然后二者结合求出最终调整公式。
有如下假设:
1.初次偏高分数会有所降低,但不低于该份试卷的初次平均分数;2.初次偏低分数会有所降低,但不高于该份试卷的初次平均分数;3.调整后的分数和初次分数大致成线性关系。
由第三题的结果可判断出评判不公平的试卷,并应用EXCEL中置信度区间的求解,找出对此试卷评判不公平的分数,然后分别对尺度偏差和不公平度进行调整。
尺度偏差调整:
1.对第j份试卷所得的初次分数求平均值:
1
L
ij
ijx
xL
-
==∑（8
2.分别对不公平分数进行加权调和:
1
（12ijxjij
jijj
xxX
xx-
-
-=+
（9
不公平度调整:
1.第i位评委所评所有试卷的平均分数:
-
=1
=N
ij
jx
xN
∑评委i（10
2.分别对不公平分数进行加权调和:
2
-（1+5ij
xij
jijxxXxx=—
评
升级会员 