从试题分析谈有效教学策略.docx

1、从试题分析谈有效教学策略从试题分析谈有效教学策略 左太政/国立高雄师范大学数学系一、九年一贯课程数学学习领域之教学评量的要求:1、评量是检验教学效果的过程,教师应透过各种评量方式,来改善自己的教学。2、教学评量宜同时关照到学习成就与学习历程,分析学生是否能达到能力指标的要求。3、根据学生个人的评量结果,教师可以理解学生既有的知识与经验,也可以从学生发生的错误,回溯其学习上的问题并加以辅导修正。4、评量时,应注意评量时机的选择,避免对评量结果作错误或不当解读。5、评量时,应配合评量的目的,让问题能恰当反应学生的学习状态,并让所有的评量题型,发挥该题型的特长。二、测验理论测验理论是一种解释测验资料

2、间实证关系的有系统的理论学说，通常划分成二大学派：一为古典测验理论主要使以真实分模式数为骨干；另一为当代测验理论主要是以试题反应理论为架构。（一）古典测验理论古典测验理论（classical test theory，简称CTT）称为古典真分数理论，其内涵主要是以真实分数模式为其理论架构，其中X为观察分数，是受试者在测验中所得到的分数；T为真实分数，是受试者接受测验无数次之得分的平均数或期望值，并无法正确的被测量到；E为误差分数，指的是测量的误差，也就是受试者观察分数和真实分数的差。由於CTT是依据弱势假设而来，故又称为弱真分数理论。古典测验理论衍生出试题分析时的重要指标，如难易度（diffic

3、ulty）、监别度（discrimination）和信度（reliability）等。（二）试题反应理论古典测验理论在作试题分析时既有上述诸多缺点，遂有试题反应理论（item response theory，简称 IRT）诞生。IRT 模式其主要是以个别试题的观点，来解释测验分数的涵意。它认为学生在某一试题上的表现情形，与其背後的某种潜在特质（即能力）之间具有某种关系存在，该关系可以透过一条连续性递增的数学函数来加以表示和诠释，这个数学函数便称作试题特徵曲线（item characteristic curve，简称 ICC）。Tucker是第一位使用试题特徵曲线一词的学者，其表示此曲线是将受试

4、者的潜在能力和实际得分情形联结在一起，受试者的测验成绩是由一些看不见的潜在特质来决定，经由测验试题表现出这些特质，每个受试者在接受测验後，会有不同的潜力表现出来，通常用数值来表达不同受试者潜在特质上的相对程度，亦即 IRT 中受试者的能力参数。ICC 能清楚扼要地表示试题参数与能力间的关系变化，藉由模式求出受试者在试题上的表现与对其能力之估计量的关系。不同的 ICC 就代表不同的试题参数与能力间的变化关系，每一种关系就有其相对应的一条 ICC，亦即每一种试题反应模式都是用来描述受试者能力与答对机率间的关系。常用的三种IRT模式，每一种模式都依其采用的试题参数的数目多寡来命名，都仅适用於二元化的

5、反应资料（亦即，正确反应者登录为 1，错误反应者为 0 的资料）（余民宁，1992）：1.单参数洛吉数模式（one-parameter logistic model）又称 Rasch Model其中：第s位受试者的能力参数：表示能力参数为的受试者，答对试题或在试题上正确反应的机率。：表示常数为 1：试题难易度的参数根据公式的定义，试题难易度参数的位置正好座落在正确反应机率为0.5时的能力量尺（ability scale）上的点；换言之，当第题的难易度参数落在试题特徵曲线上答对机率为0.5的点时，试题的难易度参数会等於受试者能力值。愈困难的试题，其试题特徵曲线愈是座落在能力量尺的右方；反之愈简单

6、的试题，其试题特徵曲线愈是座落在能力量尺的左方。试题难易度参数有时又叫做位置参数（lccation parameter）。单参数的试题特徵曲线如图2-1-1所示，一个参数模式认为影响受试者正确反应的机率大小的试题特徵，只有试题难易度，不把试题的监别度和猜测度考虑在内。也就是说，一个参数的模式是假设所有试题的监别度是相等的，而且试题的猜测度为零。如此多的假设，使得单参数假设的适用性相对的降低。理论上，难易度值介於之间，但实际应用上，通常只取之间的范围。相对於古典测验理论的难易度指数，其所指的是试题真正的难度，不是古典测验理论所指的易度，而且古典测验理论的难易度指数是一种样本依赖（sample d

7、ependent）的指标，其值受到受试者样本的影响很大。图1四条典型的单参数试题特徵曲线2.洛吉数双参模式（two-parameter logistic model） （2.1.7）其中：第s 位受试者的能力参数：表示能力参数为 的受试者s，答对试题i 或在试题i 上正确反应的机率。：表示常数为1：试题监别度的参数：试题难易度的参数与单参数模式相比，双参数模式多了一个参数：试题监别度通常以表示，是指试题对不同能力的受试者是否能反应出其答题的差异，也就是说监别度大的试题，对於能力高的受试者而言，其答对率高；对能力低的受试者而言，其答对率低。而试题监别度参数的值，刚好与在点的试题特徵曲线的斜率（s

8、lope）成某种比例。试题特徵曲线愈陡（steeper）的试题比稍平滑的试题，具有较大的监别度参数值；换句话说，监别度愈大的试题，其区别出不同能力水准考生的功能愈好，亦即分辨的效果愈好。理论上，值的范围在之间，我们通常舍弃负的值不用，因为带有负值的试题特徵曲线代表着：能力愈高的考生答对试题的机率愈低，这似乎与学理相违背，所以负的值不用。因此，在实际应用上也不能太大，其范围常介於0到2之间。值愈大，试题特徵曲线愈陡，试题愈具有良好的分辨能力；反之，值愈小，代表试题特徵曲线愈平坦，试题则愈无法明显的分辨出考生能力的水准（余民宁，1992）。图2四条典型的双参数试题特徵曲线由图2可知：试题2的曲线，

9、其斜率较小，亦即监别度较低，故无法有效分辨考生能力。另外，这些曲线的下限值都是零，亦即两个参数模式未把考生的猜测度因素考虑在内，所以本模式适用於自由反应（free response）的试题分析或试题不太困难的单选题测验分析，对於有良好施测指导语的能力测验资料亦可适用。3.洛吉数三参模式（three-parameter logistic model）其中：第s 位受试者的能力参数：表示能力参数为的受试者s，答对试题i 或在试题i 上正确反应的机率。：表示常数为1：试题监别度的参数：试题难易度的参数：试题猜测度的参数洛吉数三参数模式是由洛吉数双参数模式延伸演变而来，它多增加一个猜测度参数，通常用来

10、表示，是指将能力极低或能力参数值为零的受试者考虑到模式里，计算出此类受试者答对试题的机率，亦即把低能力受试者的表现好坏因素也考虑在模式里，当然，猜题可能是这些受试者在某些测验试题（如选择题）上唯一的表现行为。从ICC 来看，它是位於该曲线的左下渐近线。通常猜测度参数值比受试者在完全随机猜测下猜答的机率稍小，亦即值小於试题选项数目的倒数，也就是说如果一个试题有四个选项，则应小於0.25。猜测度参数只出现在三参数以上的模式中，在单参数及双参数模式中均将其假定为 0 或接近 0 而忽略不计。值愈小，表示猜测的因素愈小，试题愈有效，最理想的值是等於 0，表示试题完全不受猜测影响，但是只要测验的型式是选

11、择题型，通常很难避免受试者的猜测行为。图3 六条典型的三个参数试题特徵曲线由图2-1-3得知，曲线第3、5、6条与第1、2、4条曲线的比较，可以看出试题猜测度参数，前者大於零，後者等於零，也就是能力低的受试者在於前者试题上具有较高的猜测行为。以下就古典测验理论的缺失与当代测验理论的特点整理如下表1做相互比较：表1古典测验理论的缺失与当代测验理论的特点的比较古典测验理论的缺失当代测验理论的特点一、古典测验理论所采用的指标，诸如：难度、监别度，和信度等，都是一种样本依赖（sample dependent）的指标；也就是说，这些指标的获得会因接受测验的受试者样本的不同而不同。因此，同一份试卷很难得获

12、得一的难度、监别度，或信度。一、二、当代测验理论所采用的试题参数（item parameters）（如：难度、监别度、猜测度等），是一种不受样本影响（Sample-free）的指标；也就是说，这些参数的获得，不会因为所选出接受测验的受试者样本的不同而不同。当代测验理论能够针对每位受试者，提供个别差异的测量误差表2-1-1（续）古典测验理论的缺失当代测验理论的特点二、三、四、五、古典测验理论以一个相同的测验标准误（standard error of measurement），作为每位受试者的测量误差指标，这种作法并没有考虑受试者能力的个别差异，对高、低能力两极端组的受试者而言，这种指标极为不合理

13、且不准确，致使理论假设的适当性受到怀疑。测验理论对於非复本（nonparallel）但功能相同的测验所测得的分数间，无法提供有意义的比较，有意义的比较仅局限於相同测验的前後测分数或复本测验分数之间。古典测验理论对信度的假设，是建立在复本（parallel forms）测验的概念假设上，但是这种假设往往不存在於实际测验情境里。道理很简单，因为不可能要求每位受试者接受同一份测验无数次，而仍然假设每次测量间都彼此独立不相关。况且，每一种测验并不一定同时都有制作复本，因此复本测验的理论假设是行不通的，从方法学逻辑观点而言，它的假设也是不合理的、矛盾的。古典测验理论忽视受试者的试题反应组型（item r

14、esponse pattern），认为原始得分相同的受试者，期能力必定一样：其实不然，即使原始得分相同的受试者，其反应组型亦不见得会完全一致。因此，其能力估计值应该会有所不同。三、四、五、六、指数，而非单一相同测量标准误，因此能精确推估受试者的能力估计值。当代测验理论可经由适用的同质性试题组成得分试验，测量估计出受试者个人的能力，不受测验的影响（test-free），并且对於不同受试者的分数，亦可进行有意义的比较。当代测验理论提出以试题讯息量（item information）及试卷讯息量（test information）的概念，来作为评定某个试题或整份试卷的测量准确性，倒有取代古典测验理论

15、的信度，作为评定试卷内部一致性指标之势。当代测验理论同时考虑受试者的反应组型与试题参数等特性，因此在估计个人能力时，除了能够提供一个较精确的估计值外，对於原始得分相同的受试者，也往往给予不同的能力估计值。当代测验理论所采用的适合度考验值（statistic of goodness-of-fit），可以提供考验模式与资料间之适合度、受试者的反应是否为非寻常（unusual）等参考指标。三、国中数学科测验命题原则(一)、一般注意事项1.试题的表达方式要能切合该题的评量目标。2.试题要能清楚的表达题意。3.每个试题只问一个问题，避免同时包含太多概念。4.试题的文字叙述应简洁、明白，避免出现跟答案无关

16、的内容。5.标点符号的使用要准确。6.试题的文字叙述应加以变化，避免直接抄袭课文。7.试题宜与学生的生活经验相结合。(二)、题干与选项的设计原则1.题干与选项的文法要一致，逻辑上要能连贯。2.题干或选项中，应避免出现可能暗示正确答案的线索。3.题干应尽量用正面的叙述，避免使用否定句。若用否定句时，请在否定字眼下加注双底线。4.题干的叙述应保持完整，避免被选项分割成两个部份或段落。5.各选项中重复出现的文字请放在题干内。6.每个选项应使用相似的表达方式。7.选项中只有一个最佳或正确答案。8.错误选项应具有诱答力。9.错误选项要能有充分的理由，足以说明其不正确。10.应尽量避免以上皆是或以上皆非的

17、选项。11.选项应相互独立，彼此之间没有逻辑上的关联(相互依赖、相反)。12.选项中应避免出现绝对性的字眼。(三)、题组1.选用的短文、图表、地图或实验等资料，必须符合该题的评量目标。2.选用的资料需简短而且有意义。3.试题的数目应与所选用资料之长度成恰当的比例。(四)、公平性1.试题中应避免歧视性别或种族的字眼。2.试题中的讯息不宜是某些群体(种族、性别、居住地区)所特别熟悉。3.考生答对试题的机会，不应受到该题学力指标以外的因素所影响。(五)、原创性1.试题不应在课本、参考书或补习班讲义中出现过。2.试题不应在任何考试中出现过(包括历届联考、推荐甄试、学校考试或其他大型考试)。四、试题分析

18、（item analysis）试题分析的目的即在透过客观的量化分析，找出每个试题所具有的统计特徵为何，以帮助教师明了自编或成就测验试题的特性，方便作为建立题库的基础，供作他日之用。一份好的测验，是由良好品质的试题所组成的，如何知道各个题目的品质？这必须藉由试题分析以提供讯息，而试题分析的功能，即是在於了解试题的品质，删去或改写品质不佳的试题，进而改善试题的品质，以达成提升测验品质的目的。试题分析具有下列几项功能，兹分述如下：（一）作为改进学生学习的参考在施测之後，每位学生有权力知道他的得分以及他在每道试题上作答结果的正误。教师可以利用试题分析後对试题特徵的了解，来和学生做逐题的讨论和解释原因，

19、以期能够澄清学生的错误概念和迷思想法，更正因不良学习习惯与应试技巧不当所造成的疏忽，激发改进下次测验表现的动机，及矫正不当的学习方法和习惯。（二）作为实施补救教学的依据根据试题分析的结果，教师可以明了学生答题的分布情形，并且从中看出学生共同感觉学习困难的地方，然後针对这些困难所在设计有效的校正策略，对症下药，实施补救教学或其他矫正措施。（三）作为修改课程建议的凭据试题分析可以帮助教师评监学习成果与课程内容是否适合所教导的学生。例如，在测量某些教学单元的试题上，如果学生时常重复发生错误，或发生的错误遍及所有的学校及学生时，那就表示这些试题已反应出某些教材可能不适合学生的学习，此时便需要建议修改课

20、程，或调整教材内容的顺序，或改采其他版本的复本教材，或采去其他更有效的教学策略和教学方法。（四）增进教师编制测验的经验试题分析可以帮助教师明了哪些试题的难度是否过度困难或过度容易、监别度是否过高或过低，有无提供答案线索，诱答选项是否有效，或题意的表达是否清楚等讯息。这些讯息可以做为教师修订或删改试题的参考依据，提供教师宝贵的命题经验，增进日後编制新测验的命题技巧。（五）增进测验题库运用的效能题库并不只是一堆试题的集合体，它必须是经过试题分析後，保留下来具有优良试题特徵（如：内容效度、内部一致性信度、难度、监别度、和诱答力）的试题所组合而成。因此，试题分析可以协助教师筛选出优良试题，以作为题库的

21、基本试题；行之有年後，教师便拥有自己任教科目的题库。日後，当需要编制新测验向学生施测时，教师只要依据教学评量目标及双向细目表，从题库中随机抽取符合要求的试题，便可以轻易、随时及有系统地组成新测验卷，这不仅可以省下重编一份新测验的时间、人力和物力的花费，更可以增进测验运用的效能，达成随心所欲的测量目的。在测验编制过程中，试题分析是一件非常重要的工作。试题分析可分为质的分析与量的分析两部分。（一）试题质的分析在试题编制时，应特别注意命题的基本原则，才能编出适切的试题，例如：学科成就测验的主要目的为评量受试者接受某一学科正式教学後的学习结果，因此试题必须要能符合课程的内容，并依据所要达成的教学目标，

22、就受试者行为变化的不同层面加以评量，也就是说试题在质方面的分析，可由试题的内容审查、有效命题原则及教学目标等评监工作来进行。试题本身的编制内容与方式也需符合测验编制的原理与要求。试题编制完成之後，可邀请学科专家3至5人，针对测验计划、测验题目与测验形式三个向度，评估试题的适切性，使对整份测验品质有所建议与改善，以达到对试题品质的要求。试题的检视与编辑应注意下列事项：1.每道试题是否均能测量到双向细目表中的每一项重要学习结果？2.试题的类型是否适合於所要测量的学习结果？3.试题的叙述是否明确，是否遗漏了重要的条件？4.应使用简单且清晰的用语来陈述。5.试题应避免提供额外之线索。6.试题是否难易适

23、中？7.每道试题是否彼此独立、未采用连锁题？8.测验所包括的试题，是否能够涵盖整个双向细目表的内容？（二）试题量的分析1.难易度分析试题的难易度与测验的效率有关，难易度适当的试题是构成优良测验的必要条件。通常以代表试题难易度，代表全体受试者人数，为答对该题的人数，表示高分组（全体受试者当中，分数最高的27%）答对该题的百分比，表示低分组（全体受试者当中，分数最低的27%）答对该题的百分比。难易度的计算方式有二种方式：（1）例如：有一个测验共有100名受试者，其中某一题答对的人数为25人，则此题的难易度为。（2）例如：有一个测验总共有100名受试者，其中某一题高分组答对的百分比为75%，低分组答

24、对的百分比为25%，因此可算得难易度为。质介於0与1之间的一个值，值愈大表示试题愈容易，相反的值愈靠近0表示试题愈难，例如：三个试题其难易度分别为、和，表示第一题比第二题难，第二题又比第三题难，但难易度为一次序量尺（ordinal scale），差距单位并不相等，其值仅代表试题难易程度的相对位置，两个难易度的差不具任何意义，由上面的例子说明，不能说第一题关於如何利用难度值来挑战试题，一般都将试题的难度分为五个等级，如下表2-2-1所示：表2-1 试题难易度等级表难易度难易度等级极容易容易难易适中困难极困难一般测验专家均建议挑选难易度约为0.5的试题，也就是难易适中的试题，因为这样的试题评监度可

25、以达到最大，不过在实际的选题上，要使每一题的难易度都接近0.5是有些困难的。因此有学者便主张以0.4到0.8之间的难易度范围作为选择题的挑选标准。平均而言，整份测验的平均难度值还是以接近0.5为佳。2.监别度分析构成测验的试题，必须具有监别某种心理特质的作用，才能使测验成为可靠又正确的测量工具。也就是说，试题的监别度高低与测验的信度和效度有着密切的关系，欲增进测验的预测与诊断的功能，必须要很仔细的分析试题的监别度，分析监别度的方式主要有两方面：（1）内部一致性分析内部一致性分析旨在了解各个试题的功能是否和整体测验的功能相符合一致。此种分析的一个基本假设是：整个测验的分数具有某种程度的效度。如果

26、此架设成立。则个别试题的反应若和总分间具有一致性，就表示题目有某种程度的效度。换言之，高分组答对的比例显着大於低分组的比例，故该题的作用和总分的作用一致。基於此，监别力的分析方法，采用下列公式： ：监别力指数。：高分组答对百分比（全体受试者当中分数最高的27）。：低分组答对百分比（全体受试者当中分数最低的27）。当测验分数是常态分配时，以27分组可以获得试题监别度的最大可靠性；百分比低於27时，结果的可靠性较低，而百分比较大时会影响试题的监别作用。对教师而言，合理的分组百分比可在25到33之间。监别力指数（item discrimination index）通常以小数表示，其值介於之间。指数愈

27、高，表示监别力愈大。指数愈低，表示监别力愈小。如果指数为0，表示题目没有监别作用，此种现象可以是：（1）因为题目太容易或太艰难，所有人均答对或所有人均答错；（2）因为题目不清楚。如果低分组答对百分比高於高分组，则监别力将是负的，此种题目具有反向作用，应淘汰之。人数太少，题目不清楚或正确答案错误，均有可能导致此种情形。表2-2 监别度评监标准表监别指数试题评监0.4以上非常优良0.30.39优良，但须小幅度修改0.200.29尚可，但须部分修改0.19以下劣，须要大幅度修改或删除（2）外在效度分析外在效度分析的目的在於检验题目是否具有预定的某种监别作用。其分析的过程与上述内部一致性分析方法，大致

28、相同，唯一不同之处，为外在效度分析系统依据外在效标的分数分为高、低两组。例如，数学成就测验的编制，可用学校数学科成绩为外在效标，分成高、低两组，将两组分数相减，其差数可显示各个试题在预定功能上的监别力。内部一致性分析则依预试测验总分分为高、低两组。前者在於使测验的外在效度变得很大，而後者在於使测验的内部一致性变得很大。这两者均为测验编制所希望的相标，应以何者为分析依据，需视测验的目的而定。1、 选项分析选择题的选项包括正确选项与诱答选项，正确选项必须明确且不会引起任何争议，而诱答选项则必须具有诱答的功能，要知道这些特质是否成立，则需透过选项分析。选项分析可以让施测者清楚知道每一试题的所有选项是

29、否符合命题的原则，选项分析是透过比较高分组与低分组对正确与诱答选项的选答率，如果分析的结果符合下面两项要求，则表示该试题的所有选项是合理有效的（郭生玉，1989）：（一）正确选项的选答率，高分组必须高於低分组。（二）每一个诱答选项均有低分组的受试者选答，且低分组的选答率高於高分组。如果不符和第一个要求，表示此试题具有负向的监别度，不能清楚区分高分组与低分组；至於第二个要求，又有两个方面需要讨论，首先是如果一个选项没有任何低分组或高分组受试者选答，表示该选项不具任何诱答率，应该在修改题目将此选项更换；而如果是该诱答选项高分组的选答率高於低分组，则表示该诱答选项的叙述可能有不清楚或错误诱导的地方，

30、使得高分组的受试者有较多误选的情形，因此在修改试题时，应该特别注意这些选项。四、试题特徵曲线试题特徵曲线是用来描述所测量的潜在特质与其在试题上正确反应机率间的关系，亦即受试者潜在能力（在标准化的座标中，以横轴表示）相对於此能力在这试题中的答对机率P（）（在标准化的座标中，以纵轴表示）的关系曲线，藉此可以预测受试者的反应与能力间的关系。图2-2-1 试题特徵曲线图试题特徵曲线的应用原则，有下列几点：1.在任一特定的能力范围内，曲线的斜率（slope）可当作试题在该能力范围内的监别度。2.透过试题特徵曲线可以求得的是试题的总体难易度和总监别度。即当通过比率等於0.5时的对应总分或能力值，这个数值可

31、当作试题的总体难易度。此外，在总体难易度这点上的斜率亦可以当试题的总监别度。3.好的试题其试题特徵曲线应该呈现出正的斜率与适中的难度。五、信度及效度一份测验，除了透过个别试题的分析之外，若能针对整份测验做测验整体的分析（即测验分析），必能提高测验的品质。测验分析在此主要以信度、效度及双向细目表为主。（一）信度信度可以说是可靠度，从字面上的意义来解释，就是一份测验的结果是否可靠。一般而言，一份优良的教育测验至少应该具有0.8以上的信度值，才具有使用的价值。1.信度的种类与求法常用估计信度的方法有四种：重测法、复本法、内部一致性方法、评分者方法，兹介绍如下：（1）重测法（test-retest method）估计测验分数是否稳定，最直接的方法是重测方法。此种方法是采用同一个测验在不同的时间，重复测量相同的一群受试者两次，根据这两次分数求得的相关，称为重测信度系数（test-retest relia