语言测试与评估.docx
《语言测试与评估.docx》由会员分享，可在线阅读，更多相关《语言测试与评估.docx（29页珍藏版）》请在冰豆网上搜索。
语言测试与评估
语言测试与评估
第一节语言测验的基本原理
一、语言测验的作用和目的
作用：
科学地测量出学习者的语言能力。
目的：
我们使用测量工具时要达到的目的。
1、选拔2、诊断3、评估4、研究
二、怎样用科学方法测量语言能力
1、测量的定义：
测量是给人或事物的某种属性确定数和量的过程。
2、测量的四个要素：
测度（测量的对象、可测量的属性）、测量单位、数字（实数）系统、零点（0）。
3、四种测量水平和四种量表
称名测量——称名量表顺序测量——顺序量表
等距测量——等距量表比率测量——比率量表
4、测量对象及其性质显性隐性
5、自我测量工具非自我测量工具
6、测量中心：
以主体为中心以刺激为中心以反映为中心测量水平和测量中心语言测验的中心
7、怎样使不可测的东西变为可测的——虚构测度（可测量的属性）
三、测验的种类
1、按用途分
水平测验——能力测验或熟练程度测验
语言水平指学习者能够使用目的语完成听课、做翻译、经商、旅游等目的的语言能力。
如汉语水平考试（HSK）。
其特点是不以教材为基础，没有明确的内容范围，一般是标准化测验。
成绩测验——以教材为依据的测验，不一定是标准化测验。
能力倾向测验——教学前的测验，了解被试是否具有学习语言的潜在能力。
分班测验——教学前的测验，了解被试的语言水平等级，以确定进高、中、初级班。
诊断测验——教学中的测验，为了发现问题，改进教学。
依据
所测能力
信息指向
标准化程度
规模
水平测验
语言理论
一般语言水平
将来
最高
最大
成绩测验
教学内容
不一定
过去
可以较高
可以很大
倾向测验
认知理论
学习潜能
将来
可以较高
可以很大
分班测验
教学内容
现有水平
将来
不高
不大
成绩测验
教学内容
现有水平
过去将来
低
小
2、按测验方式或评分方式分
主观测验和客观测验：
在评分过程中需要评分员自己作出判断的，就是主观测验；评分时不需要评分员做出判断的就是客观测验。
分立式测验和综合式测验
笔试和口试
纸笔测验和计算机辅助测验
3、测验的标准化
第一，有固定的、标准的内容
第二，施测和评分按标准程序进行
第三，题目都经过预测
第二节规划、设计和实施
一、规划设计
第一节确定目标团体
语音测验的目标团体
年龄：
18岁以上的成年人
母语：
英语
一般教育情况：
高中毕业、在校大学生
对语言测试的熟悉程度：
大多数参加过HSK考试，部分参加过英语考试，对各种测验形式熟悉。
第二节确定测验目的
教育、选拔人才、改进教学
第三节确定测验内容
教学内容、非教学内容
第四节确定测验方式和卷面构成
题型：
客观题、主观题
题量：
考虑信度和时间
题型题量分布表
客观题（选择题）
主观题（作文）
语法
词汇
听力
阅读
应用
题型1
20
20
20
20
题型2
20
20
20
题型3
1
总数
40
20
40
40
1
汉语水平考试的题量和时间分布
考试内容
试题数量
试题比重
答题时间
听力理解
50
29.4%
约35分钟
语法结构
30
17.7%
20分钟
阅读了解
50
29.4%
60分钟
综合填空
40
23.5%
30分钟
共计
170
约145分钟
第五节确定评分方式和分数体系
客观评分、主观评分
主观题的评分标准和分值
分数
整体评分标准
分项评分标准
词汇。
语法
主题
结构
总分
4
词汇丰富，语法正确，主题鲜明，结构完整
词汇丰富，没有错别字
无语法错误
主题鲜明
结构完整，衔接自然
16
3
词汇较丰富，语法基本正确，主题鲜明，结构完整
词汇较丰富，偶有错别字
偶有语法错误
主题鲜明
结构完整，有不连贯的地方
12
2
词汇不丰富，语法错误较多，主题不鲜明，结构不完整
词汇不丰富，错别字较多
语法错误较多
主题不鲜明
结构不完整
8
1
词汇很有限，语法错误很多，尚能表达基本意思
词汇很有限，错别字较多
语法错误很多，词不达意
仅能表达基本意思，看不出主题
结构很不完整
4
0
不能表达基本意思
基本上不能正确使用词汇
无合语法的句子
看不出基本意思
谈不上
0
二、操作和实施
一、编写测验说明和题目细则
一个简单的测试说明
2、训练命题员
3、聘请专家组就有关问题进行咨询
三、施测、信度、效度及后效研究
第三节客观题的编写与修改
一、客观题的类型
一、多项选择题
1.1多项选择题的原则
1.1.1每一个多项选择题只能有一个正确答案。
例1目前还没有发现这类问题。
①现在②最近③看来④在眼睛前边
例2我们两家住斜对门，关系很好。
①隔壁②邻居③门有些斜④门靠门
1.1.2一个题只测一个语言要素
例3他们都认为这是个好主意。
①意思②办法③态度④建设
1.1.3除了测验特殊语法点的题目外，其他题目的选项放到题干里都要合语法。
1.1.4多项选择题所用文本不能太难，要适合考生的水平。
在语法题中，不要包括比要测的点更难的语法点；在词汇测试中不要出现比要测的词更难的语义问题。
题目越单纯越好。
1.1.5多项选择题越简洁、越清楚越好。
1.1.6多项选择题在试卷中一般按从易到难的顺序排列。
在试卷前面放几个容易的题，目的是把考生引入测验。
如果试卷开头就碰上非常难的题，考生可能一下子被考住了，后面的题目再容易也做不下去了。
1.2多项选择题题干题干的作用是把问题简明扼要的提出来，考生可以从题干中获得如何答题的全部信息。
题干里不要包括与题目无关的内容，以免分散考生的注意力。
1.2.1一个有待补充的陈述
例4他是班里最小的，学习是班里最好的。
1.2.2一个完整的陈述
例5她爱人带这孩子去广州了。
A丈夫B哥哥C父亲D朋友
1.2.3一个问题
例6服法：
每次四片，日服三次，儿童减半，或遵医嘱，温开水送下。
【问】根据说明，这种药儿童每次只能吃多少？
A两片B三片C四片D五片
如果选项里有重复的词或词组，尽量想办法把它放到题干里去。
例7这段话告诉我们什么？
A肥胖威胁儿童的健康
B肥胖威胁妇女的健康
C肥胖威胁青年的健康
D肥胖威胁老人的健康
1.3选项
1.3.1正确答案一定要是唯一的。
1.3.2干扰项都要有干扰作用。
1.3.3选项长短尽量相等。
2、完型填空
典型的完型填空是等距填空
汉语使用的是综合填空
例8昨天，我们去参观了一个展览。
展览会上的工艺品件件都i，尤其是玛丽买的这一件，又美观，又ii。
iA精确B精致C精彩D精神
iiA实用B实在C实际D实惠
3、配伍题
例9左边的词都能和右边的某个词组成词组，请用连线表示
开展领导
请示矛盾
埋没工作
揭示人才
4、是非题
例10判断下面句子的正误
我把饺子吃在饭馆里了。
5、半客观性试题
答案是唯一的，但需要阅卷员来判卷。
例11感谢《读者》杂志社的全体工作人员，为中国广的文化市场造出一份好的精食粮，你们立于峰巅，却能做虚怀若谷，相你们会做得更好。
二、适应于不同技能的多项选择题
一、听力理解试题
听力测验可以测语间的听辨、特殊信息的获取、整段话语的理解，也可以考查被试的交际能力，如听到一个问题，被试按语境的要求做出回答。
听力测难验究竟测什么，要根据测验目的来确定。
（一）选择材料
选择材料时，一定要联系测验目的来考虑。
听力使用的应该是口语材料。
材料可以从广播、教材、剧本中选择。
既然是听力测验，所用的材料一定得上口。
如果选择的是书面语材料，尤其是句子长、句式复杂的材料，题目的区分度不高。
题目的区分度低，说明很多被试是凭猜测答题。
从广播、电视上选择的材料，如果录音质量不高，应该重新录音。
有些程度较高的交际性测验可以直接使用广播材料，这种材料可能带有一些噪音。
如汉语水平考试（高等）听力理解第二部分，所用材料是从广播中录下来的现场采访。
（二）编题
听力理解题可以根据要测的不同能力，用不同方式，从不同角度出题。
听力测验中又包括各种题型，如：
听辨语音、重音和语调、用图画测听力理解、叙述和对话、理解谈话和讲话等。
当然，在一个测验里，一般不可能把这么多测听力的方式都用上，我们应该根据测验的要求选择两三种适当的方式。
我们以叙述和对话为例，介绍一下听力测验的命题原则。
1．问题要用完整的句子，一定要简洁。
听力题的材料和问题，被试都是从录音中听到的，需要他理解的是录音材料，因此，提问题所用的语言，一定要比原材料的语言更简单。
这样做的目的是，不要让提问题所用的句子给被试造成困难。
如果提问题用的句子非常难，被试听不懂，他就不知道如何答题，我们也就无从知道他是否听懂了材料里的内容。
例17．
女：
金光辉被三星公司录用了吗?
男：
别提了。
论专业知识、身体条件、工作能力，都没说的，就是没有汉语水平考试6级证书。
问：
金光辉在哪一点上不符合公司的录用条件?
A.汉语水平B.身体条件
C.工作能力D.专业知识
例17提问中使用的“在哪一点上”、“符合”等词语的难度，可能比对话中所用词语的难度还要大，这可能会影响被试对问题的理解。
我们可以把提问及选项作如下修改：
问：
金光辉为什么没有被录用?
A．汉语水平不高B．身体条件不好
C，工作能力不强D．专业知识不多
2．如果使用多项选择题，选项使用的语言也一定要简单，对被试不构成困难。
道理和第一条一样，如果选项太难，被试看不懂，他就没法作出正确选择。
给低水平被试使用的测验，可以酌情考虑用被试的母语编写选项，也可以用图画作选项这样，选项就完全不是障碍了。
3，在听力题中，尽量避免让被试过多地记忆。
有的理论认为短时记忆是听力技能的要素之一，因此，也可以有少量的题目涉及，记忆。
但记忆题目不要过多，不要使被试的记忆负担太重。
4，在听力测验中，涉及计算的题目（如例18）最好避免，因为这不是测验算术能力。
汉语水平考试的早期题目中，经常有涉及计算的题目，后来我们发现，这些题目区分度大都较低。
※例18
男：
我18岁时离开父母亲人，去北京上大学，算起来，已经整整30年没与家人团聚了。
问：
他今年多大了?
A.18岁B.30岁
C.48岁D.50岁
5，如果是长段叙述或对话的理解，一段话后面往往带有好几个题目，在这种情况下，提问的顺序最好和叙述或对话的发展顺序一致。
二、阅读理解试题
阅读理解测验的材料可以从教材、教材辅助读物中选取。
为了保证题目的真实性，阅读材料也可以从公开发表的报纸、杂志中选。
命题员应根据测验的目的选择适当的材料。
如果是大规模的水平测验，材料的范围越广泛越好。
例如’TOEFL和汉语水平考试的阅读部分涉及的内容都很广泛。
为了使被试读到真实的材料，命题员不要修改原文，适当的删节是允许的，但要有节制，尽量保持文章的原貌。
阅读材料不能太长，一般以二三百字、三四百字为宜。
材料选好以后，命题员要把材料仔细读几遍，吃透文章的各个方面，包括主题和各个细节。
只有在对文章有了较深入的理解后，我们才能找到好的切入角度，出好题目。
一段阅读材料可以出三四个到五六个题目。
题目需要预测，因此出题时要多出一两个，打出富余，预测后如果有一两个题数据不好也没关系，删掉就是了。
根据一段阅读材料编出的题不要都在一个平面上，应该涉及主题、具体细节、文章的连接关系、作者的观点或态度等各个方面。
阅读材料一般都是从原文中节选一段，而且没有标题，为了使被试能首先把握全文主旨，第一个题目最好就全文的主要内容或中心意思提问。
其他问题可以按照文章发展的脉络依次提出。
在阅读测验中，可以就作者的“言外之意’’提问，也就是让被试作出一些推论或猜测。
我们也可以就某个比较难的词或概念提问，看被试能不能根据上下文猜出这个词的意思。
这样，根据一段阅读材料提出的几个问题，就包括了对主题的把握、对细节的理解、对作者态度或言外之意的理解以及跳跃词汇障碍等几个方面的考查。
总之，阅读测验应尽量考虑到阅读过程中的全部因素，并就这些因素一一提出问题。
阅读测验是一段文章后跟几个题目，命题时要特别注意题目之间不要有暗示，也就是说，题目之间不能有连锁影响，要使每个题目都有独立性。
这个题目答对答错都不会影响下一个题，否则，一个题答对了，其他所有题就都对了；一个题错了，其他题也都
错了。
现在我们来看一个例子。
例19—24．
还在大学里，我的一位女同学发表过这样的观点。
她说，假如有个男同胞在她面前打个嗝，那么哪怕他再优秀，也绝无同他发展下去的可能。
这话多少有点儿孩子气，也近乎苛刻了，但有时候，这样的细枝末节还真能左右人的选择。
记得很久以前我父亲的一个学生经人介绍认识了一位容貌平平的姑娘，第一次见面后他决定继续保持联系的一条重要理由就是：
当他们在看电影的时候，那个女孩吃完了手中的冷饮后，把包装纸缠在木棒上始终拿在手里，直到走出电影院才投进垃圾箱。
她做得非常自然，不像是故意做出来的。
仅此一个细节，她体现出了自身的教养；仅此一个细节，他们终于喜结连理。
另一个女友在决定终身大事时，也强调一个细节，有一次那位先生在离开宾馆的房间时，将房间里的灯一个一个关掉，那一瞬间，她决定：
就是他了。
例19作者的主要观点是什么?
A.生活小事反映人的教养
B.保护环境要从小事做起
C.再优秀的人也有小毛病
D.节约用电也是保护环境
例20“绝无同他发展下去的可能”指的是哪方面的事情?
A.爱情B.生意
C.友谊D.学问
例21本文作者的父亲最可能是什么人?
A.教师B.演员
C.医生D.导演
例22.“喜结连理”大概是什么意思?
A.结婚B.庆祝
C.联系D.整理
例23.本文最后一句“就是他了”表示什么意思?
A.爱上他了B.认出他了
C.见到他了D.了解他了
例24.本文作者举了几个真实的例子7．
A.两个B.三个
C.四个D.五个
三、语法试题
语法试题测的是被试的语法能力，语法题要能反映被试是否掌握了语法结构。
有人认为，语法试题测的就是语法知识。
这种说法太笼统，容易引起误解。
我们应该区分两种“语法知识”，一种是语言教师和语言学家的语法知识，一种是语言使用者的语法知识。
什么是主语，什么是谓语，一个句子该怎样分析，这些都是语言教师的语法知识。
语言使用者和第二语言学习者的语法知识是另外一种知识。
使用一种语言的人，比如说使用汉语的中国人，知道“我吃饭”是对的，而“饭吃我”是错的，但究竟为什么错，他可能说不出来。
他不能对错误进行分析，也不能对正确的句子加以解释。
就第二语言学习者的情况而言，我们需要知道的是他能否正确地使用语言形式，而不是他能否正确地分析一个句子。
因此，我们不能把分析句子、解释虚词等作为语法试题的内容。
设计语法试题，要注意两个问题：
第一，充分考虑汉语语法的特点。
汉语和英语等印欧语言不同，汉语缺乏形态变化，把汉语的字、词连成句子的主要手段，是语序和虚词。
这是汉语的特点。
第二，要充分考虑学习者的特点。
第二语言学习者往往是在掌握了母语后才学第二语言的，这时，他在第二语言上出的错，往往是母语干扰的结果，即他可能是用母语习惯来表达第二语言。
例如，说英语的人可能用汉语说出“都我们不来”这样的句子，这是因为，英语里表示“都”这个意思的词可以放在句子的最前边。
因此，设计语法试题，应该以第一语言和第二语言的对比为依据。
具体地说，语法试题的正确答案当然是汉语的正确表达，而干扰项，应该是学习者在母语干扰下可能出现的错误。
如果干扰项缺乏依据，不是被试可能出现的错误，题目的质量就可能不高，而这有可能表现为题目的区分度不高。
汉语语法的特点是语序和虚词，还有一些特殊句式，我们可以把这些内容大致列一个表，供编写语法试题时参考。
如果测验有详细的语法大纲，我们可以从大纲的项目中抽取一个有代表性的样本，作为语法题要测的项目。
语法试题的常用形式有以下几种：
（一）选择填空
选择填空的题干是一个句子，中间留出一个或两个空，空中应填上正确的虚词。
如：
例25，昨天我买了一（）雨伞。
A.把B.根C.支D.个
例26．义务教育，（）是国家对人民的义务，（）是家长对国家和社会的义务。
A.既……也……B.既然……就……
C.虽然……但……D.不是……就是……
（二）选择位置
这种题的题干是一个句子，从中挖掉一个虚词，句中给出A、B、C、D四个位置，被试要指出这个虚词放在句中哪个位置上最合适。
如：
例27，我是多么A多么B多么C高兴D啊。
地
例28．他打算A吃B饭C就进D城。
了
这种题实际上是一种排序题，是给被试一个句子的四种不同排列，让被试从中选出一个正确的排法。
使用这种方式只是为了节省篇幅，它和下列方式是等效的：
例29．
A.他打算了吃饭就进城。
B.他打算吃了饭就进城。
C.他打算吃饭了就进城。
D.他打算吃饭就进了城。
（三）排序
我们说过，语序是汉语重要的语法手段，因此语序是语法测验的一个重要部分。
语序问题包括：
多重定语和多重状语的次序、状语的位置、定语或状语和中心语的位置、补语和中心语的位置等。
下例就是关于多重定语的次序的。
例30.（）领子会使人相信他是最爱清洁的人。
A.他的内衣的雪白的
B.内衣的他的雪白的
C.内衣的雪白的他的
D.雪白的他的内衣的
（三）挑错
被试对语法的掌握，不仅表现在能正确使用汉语的语法形式，而且还表现在能识别不正确的形式上。
有的语言测验通过让被试识别错误，来测量他对语法的掌握程度。
这种题的题干是一个包含了一个语法错误的句子，然后在句中标出A、B、C、D四个位置，其中一处是错误所在，其余三处没有错误。
被试的任务是把有错的一处指出来。
例31.都我们学习汉语。
ABCD
这个题目要求被试指出错误在上句中的哪一部分。
编写这种试题时要注意，一个题目中只能包含一个错误，否则答案不惟一。
句中的语法错误，应该是来自学习者在学习过程中出现的错误，不要使用教师或命题员人为编造的错误。
四、词汇试题
词汇测验首先要解决的问题是测哪些词。
在成绩测验中，被试使用的是同一个教学大纲或同一种教材，所测的词汇当然就从大纲或教材中选。
如果是在水平测验的情况下，被试成分复杂，没有一个大纲或教材适用于所有被试，我们就可以考虑从一个通用的词表或频率词典中选择词汇。
在教学测验中，有时也可以专测学生容易出错的词。
一个测验中实际用到的词，总是该测的词的一小部分。
因此，无论是在什么情况下，我们都应该使实测的词是该测的词的一个有代表性的样本。
汉语水平考试（初、中等）有20个词汇题。
每次命题时，我们从《汉语水平等级词汇大纲》的甲、乙、丙三级词中随机地选出要测的词条（用计算：
机抽取），然后用这些词编写题目。
要测的词条选定后，我们到各种出版物中寻找带这些词的句子，找到了合适的句子，这些句子就是词汇测验的题干。
词汇测验的形式是，题干中有一个划线的词，下面给四个选项，要求被试答出哪个选项和划线词的意思最接近。
如：
例32，我昨天去商场买写字台。
A.桌子B.椅子C.箱子D.柜子
A.书桌B.餐桌C.茶几D.梳妆台
编选项时要注意：
（1）四个选项和划线词要属于同一词类。
如果划线词是名词，四个选项也都应该是名词。
（2）四个选项的搭配习惯应该和划线词的搭配习惯一致。
（3）四个选项的难度应该大体相当，其中不要有一个特别难的或特别容易的。
上述第一、第二点也可以归纳为一句话，那就是题干所提供的语境（非划线部分），不能对所测的词和选项的关系形成暗示。
编好选项后，把每个词都放到原句中读一遍，只要句子语法正确、意思通顺，前两条就算做到了。
选项用词的难度，可以根据词频辞典或教学大纲来控制。
词汇试题测的是被试掌握的词汇量，不要把文化知识、搭配习惯、词义辨析等内容放到词汇题里。
词义辨析是语义问题，文化是知识问题，这都可以在阅读理解或综合填空里去测；搭配习惯是语法问题，应该用语法题来测。
下面我们来看一个处理不当的题。
例33，办喜事时，他们的新房很简陋。
A.新盖的房子B.新买的房子
C.刚刷过的房子D.结婚用的房子
例33是用词汇题的形式测文化知识，但该题却有很多问题。
首先，该题的形式不合要求，四个选项没有一个能替换题干中的“新房”。
其次，“新房”只有当“结婚用房”讲时才是一个词，这是就这个词在词典上的地位而言的，在其他情况下（选项A、B、C）都是词组：
如果不区分词和词组，选项A、B也是正确答案，而表明“结婚用房”才是正确答案的，不是仅仅是“新房”这个词本身的意义，还有“办喜事”在起暗示作用。
第三，这个题有一定的诱骗作用，因为“新房”究竟是一个词还是一个词组，恐怕只有语言学家说得清楚，一般人，尤其是第二语言学习者把它理解为“新盖的房子”等并无大错；如果他是这样理解的，我们弄不清他是不认识这两个字呢，还是不知道它的文化意义。
第三节题目的修改
如果题目的质量不高，在开发测验的整个过程中，我们有两次机会修改题目。
第一次是在毛坯题编出来之后、预测之前。
当题目主要由命题员编写时，在题目预测之前，专业人员要对毛坯题进行审查和修改。
审题的人应根据我们上面介绍的那些原则和规则，把题目内容和形式上的毛病改掉。
这些毛病包括答案不惟一、无正确答案、选项长短不齐以及敏感性问题等。
有经验的命题和审题人员能够发现毛坯题的很多问题，在题目进入预测之前，凡是能挑出的毛病都应该挑出来，凡是能修改的都应该修改。
如果题目是专业人员出的，最好也在预测前请别人看一下，挑挑毛病。
一份毛坯题，可以在同事之间传看，大家互相挑毛病，也可以请教学和测验方面的专家来看。
经过这次修改，题目的很多问题就可以解决了。
但是，题目的另一些问题，如不预测，是表现不出来的。
所以，我们还应该根据预测数据，对一些有修改余地的题目做进一步的修改。
根据预测数据修改题目的例子，我们将在第五章中介绍。
思考题
1.客观性试题有哪些主要类型?
2.使用客观性试题的基本原则是什么?
3.听力题和阅读题所使用的语言材料有什么区别?
4.编写语法题时应该注意什么?
5.编写词汇题时应该注意什么?
第四章主观性试题的编写
我们常说，客观性试题评分容易，出题难；主观性试题出题容易，评分难。
实际上，编写口试和作文中使用的主观性试题，也是需要周密设计的。
第一节口试
简单地说，口试就是让被试开口说话，根据他说出的话，我们来评价他的口语表达能力。
口试的方式可以分为两种：
面试和录音。
相应地，口试的评分方式也分为两种，面试是当场评分，录音则是事后评分。
一、口试的方式
（一）面试面试的基本形式是主试（主考）和被试面对面地交谈，主试提出问题，被试回答；根据被试的回答情况，主试给被试打分。
面试又有几种不同的形式。
第一种是一位主试，一位被试。
主试的工作是向被试提问，并根据被试的反应给他打分。
这时，主试既是控制口试进程的人，也是评分员。
第二种方式是两位主试和一位被试。
一位主试负责给被试提问，和他交谈，另一位主试不参加谈话，他只负责给被试打分。
第
升级会员 