第三章跨文化交际能力评价.docx

第三章跨文化交际能力评价.docx

《第三章跨文化交际能力评价.docx》由会员分享，可在线阅读，更多相关《第三章跨文化交际能力评价.docx（22页珍藏版）》请在冰豆网上搜索。

第三章跨文化交际能力评价

第三章跨文化交际能力评价

本章学习目标

1．了解跨文化交际能力测试的内容

2．掌握跨文化交际能力测试的方法

3．明确考查跨文化交际能力的题型

本章概述

测试是检查受试者学习效果、衡量受试者能力和反拨教师教学的一种手段，是任何能力培养体系中不可或缺的组成部分。

在跨文化交际能力培养体系的构建中，测试是难度比较大的研究部分，因为人的能力和素质是很难量化和测量的。

跨文化交际能力测试主要采用交际法语言测，70年代末到80年代美国语言教学界开展了一场“水平运动”（ProficiencyMovement）。

很多语言教学界人士认为，语言教学以及语言测验要以语言水平为中心，而语言水平表现为交际能力。

这一时期，人们更多地把精力集中在探讨语言交际能力方面，1990年，Bachman在Canale和Swain模型的基础上提出的语言交际能力模型，成为语言测试发展史上一个新的转折点。

从发展趋势来看，交际性语言测试是一个重要的方向，为跨文化交际能力测试提供了发展的基础。

跨文化交际能力调查问卷

为了初步了解你跨文化交际能力的水平，请对下列题目做出选择。

1.Interactivelisteningincludesnon-verbalcommunication,askingquestions,andtheuseoffillers（补白）.

A.AgreeB.DisagreeC.Cannotsay

2.PeopleintheMiddleEastdon’tlikefollowingschedules,sonothingisfirmthereandplanscanbechangeduptothelastminutes.

A.AgreeB.DisagreeC.Cannotsay

3.U.S.Citizensarelikelytofavorgovernmentredistributing（再分配）incomefromrichtopoororprovidingjobsforall.

A.AgreeB.DisagreeC.Cannotsay

4.Atwo-yearoldVietnamboyisoneyearoldbyAmericancounting.（如果用美国人计算年龄的方法，一个两岁的越南小孩相当于一岁。

）

A.AgreeB.DisagreeC.Cannotsay

5.Africanbelievesthattimeiscyclical.（非洲人认为时间是循环的。

）

A.AgreeB.DisagreeC.Cannotsay

6.Americansarecollectivists.

A.AgreeB.DisagreeC.Cannotsay

7.Fast-foodinAmericaisnotaspopularasthatinChina.

A.AgreeB.DisagreeC.Cannotsay

8.AmericancultureismoreaggressivethanChineseculture.

A.AgreeB.DisagreeC.Cannotsay

9.Americanculturevaluesharmony.

A.AgreeB.DisagreeC.Cannotsay

10.YouareexpectedtoofferyourseatonthebustoanoldmanintheUnitedStates.

A.AgreeB.DisagreeC.Cannotsay

一．跨文化交际能力测试的信度、效度和可行性

测试的信度与效度是所有测试都在努力达到的目标。

没有信度和效度的测试对教学者和学习者都可能产生误导作用，从而导致教学的南辕北辙。

信度与效度原是计量学中的两个重要概念，20世纪30年代被引入语言测试领域。

60年代，以Lado等为代表的第二代结构主义测试学家对这两个概念进行了系统的阐述和论证，并发展了一系列如何保证和计算这两个“度”的方法，标志着语言测试已形成科学的体系，成为一门独立的学科。

语言测试的取向、理论及实践上的发展和纷争都是以信度与效度为主线进行的，信度与效度是语言测试永恒的主题。

正如李筱菊所概括“归根结底，两者体现着语言测试作为测量科学与语言测试作为人文科学的矛盾，或者更广泛地说，语言测试科学与语言测试艺术的矛盾……是贯穿整个语言测试的深层主线”。

（李筱菊，2001）

1.测试的信度

信度指的是测量的一致性。

考试是否具有信度体现在：

当同一考生在其他变量不同的情况下（即不同环境，不同条件下）参加同一难度的考试时，其分数结果是否一致或相近。

这就需要统一的评分等级和等级描述，严格培训、筛选评分员，以及双评分（doublemarking）或多人次评分（multiplemarking）等。

对于测试信度的保障主要应从以下两个方面入手：

（1）测试的设计过程

测试的设计过程对于测试的信度有至关重要的决定性。

首先测试应该涵盖学习的绝大部分内容，但试卷长度应适中。

其次，试题应有明确详细的要求，使被测试者的真实能力不会受到审题偏差的影响。

Ø测试内容要全面

信度与测试内容的多少密切相关。

被测试者被测试的项目越多，范围越广，测试的信度也就越高。

在测试阅读水平时，只选一或两篇文章是不够的，因为这有限的内容有可能正是某些被测者曾经读过的，或较熟悉的领域，只有挑选五花八门、题材各异的文章才能测出被测者的真实阅读水平。

所以，测试内容过少，范围过窄，根本不能测出被测者的真实水平，往往会出现高水平者得分不一定高，低水平者得分不一定低的结果。

当然，在切忌测试内容过少的同时，也要警惕因内容过多而导致被测者厌烦情绪和精神疲劳，不能顺利完成所有测试内容，出现猜测答案的现象，也会影响测试的信度。

Ø测试题意要明确易懂

由于测试的设计者往往不在测试现场，被测试者在不明题意时无法做题。

虽然有时被测试者可以猜出有些出题者的意图，但并不是所有的被测试者都能揣测得那样准确。

这样测试的可靠性自然会受到影响。

跨文化交际能力测试针对的受试者不同，测试的内容在信度上应该有相应的调整。

例如，如果受试者是初中或高中的学生，英语尚处于初级水平，那对于他们的跨文化交际能力的测试不妨采用汉语，或者是降低词汇量，将英语的难度控制到他们能够接受的程度，以防受试者因为读不懂题意而影响了其真实的跨文化交际能力的表现。

在题量上的权衡也是很有必要的，题目过少，覆盖的文化内容不够广泛，测试结果不能判定受试者的真实跨文化交际能力；题目过多，又容易使受试者产生厌烦情绪，导致答题不够认真，影响测试信度。

跨文化交际能力测试试题的内容也应尽量的简单明了，既然是测试学生的文化和交际能力，就不应刻意加大词汇和语法结构的难度，如果受试者在不明题意的情况下揣测作答，测试的信度就难以保证。

（2）测试的评价过程

对测试结果的评价影响测试的最终信度。

如果评价不客观，测试就没有信度可言。

因此，在这一阶段，评价是否客观是影响测试信度的关键。

Ø确保答案标准具体

对于主观题而言，答案越具体，评分越客观。

评分者应有所侧重地对被测试者能力的各个方面加以全面衡量，从而给出一个较客观的、符合被测试者真实水平的分数。

Ø确保评分者状态良好

评分者是决定被测试者的测试结果的重要因素。

评分这一过程是确保测试可靠性的最后一步，也是至关重要的一步。

所有参加评分的人员必须参加培训。

通过培训，评分者知道确切的评分标准以及如何处理评分过程中出现的意外情况。

应避免让评分者持续工作太长时间，否则会身心疲惫，注意力不集中，从而影响评分工作的客观性。

Ø确保多人独立评分

一个人评分只能反映个人的观点。

尤其在主观题测试中，如语言写作项目的评分，一个被测试者的文章迎合某个评分者的标准，或碰到不欣赏其文章的评分者，都可能导致测试信度的降低。

如果是两个或两个以上的评分员评定这篇文章，最后取他们的平均分，那么这个被测试者的最终测试结果才会更客观地反映出他的写作能力。

对于跨文化交际能力测试试卷的评价是分析结果、得出结论的重要过程。

标准、具体的试卷答案是保证测试信度的重要前提，答案应体现正确的跨文化交际观，对交际中各种实际出现的情况给予客观的分析和全面的思考，不能单纯地以“正确”或“错误”来回答辨析题和案例分析题。

另外，跨文化交际能力测试的评分者应首先对自己的文化观和交际观进行自我批判，不能带着自身的文化偏见去评分。

在主观题评分过程中，如果遇到自己难以判定的答案，应与其他教师共同商议，或参考权威观点，切忌想当然地妄加揣测。

由于测试包括受试者的态度、意识、行为能力等方面的内容，因此跨文化交际能力测试有一定的难度。

在测试的设计及评价过程中，许多主观因素如设计者、评分者和受试者以及客观因素如环境、测试内容、测试安排都会或多或少影响到测试的信度。

所以我们必须安排好测试的每一个环节，增加测试的信度。

2.测试的效度

测试的效度（validity）主要关注需要考查的知识点是否都考查到了，测试是否能最大限度地反映出考生真实的语言能力。

效度的高低是衡量测试最重要的指标，是测试的基本出发点，一项测试如果效度很低，那么它就失去意义了。

需要指出的是，测试的效度是一个相对的概念，某一项测试用于一个测试目的时效度可能是很高的，可如果把它用于其它目的的测试就未必有效。

比如说，把剑桥商务英语证书考试的试题拿来测试在校大学生的英语水平，其效度就是很低的，因为学生平时接触的并不是商务环境下使用的英语，其所得分数并不能代表学生的真实英语水平。

测试效度主要体现在以下几个方面：

（1）内容效度（contentvalidity）

内容效度是指测试是否考查了考试大纲规定要考的内容，或者说考试的题目在多大程度上能代表它所要测量的目标。

根据考试大纲的具体要求，可以从三个方面判断测试的内容效度：

第一，测试内容是否和测试目标有关；第二，测试内容是否具有代表性；第三，测试内容是否适合测试对象。

内容效度对成绩测试很重要，成绩测试是考查学生对所学知识的掌握，它一般要参考某种教学大纲，甚至考虑到教学过程中应用的教学方法。

内容效度应该考查的要素和技能都要有所体现。

进行测试时，所有教过的东西都应该在检测范围内，并应注意具有代表性的试题应占一定的比例。

如果教师教过的主要内容未被检测，那就意味着教和学的脱节，像这样的测试题就没有内容效度。

如果测试所含内容覆盖很广、有代表性、内容均衡，这样的测试我们就认为有内容效度。

各种类型考题所占的比例应依据本阶段所学内容和考试大纲确定，那些具有代表性的重点内容应占较大比例。

对于跨文化交际能力测试，测试内容与教学内容应该具有一定的关联性，但是跨文化交际能力测试又不同于其他的关于知识记忆的测试。

美国教育学家B.Bloom在其《教育目标分类》中把教育目标按照从低到高的次序分为六个层次，这六个层次分别是：

知识、理解、应用、分析、综合、评价，对达到每个目标的要求不同：

1.知识：

辨别或记忆具体的事实、一般的概念、原则、术语、事物的分类、过程和倾向等。

知识层次是最低的一个层次，考试最低的要求就是看考生对学习过的知识掌握的情况如何。

2.理解：

要求考生用自己的语言来复述、解释、归纳所学的知识。

这是一种低层次的理解，没有上升到判断和推理，只是在认识基础上的记忆。

3.应用：

要求考生在不同环境下应用某些抽象的原理和方法。

语言测试中这样的题目有很多，例如考生已经学习了某个语法知识，能不能按照要求写出合乎语法的句子，这就是一种应用。

4.分析：

要求考生把某一事实或概念分解为若干个组成部分，然后指出它们之间的内在联系。

语言测试应强调应用而不是分析。

5.综合：

要求考生将各个部分组合成为一个整体。

如外语测试中的写作测试就属于综合性测试。

6.评估：

要求考生对某篇作品、某种方法、某种结论作出评估。

跨文化交际能力测试包括以上所有六个层次的测试，但应更注重应用、分析、综合以及评价能力，因为跨文化交际能力归根到底就是需要对交际过程中遇到的情况进行综合分析，然后进行评价，最后表现在实际行为中的具体应用。

所以测试者可以有意识地降低知识理解类题目的比例，相应加大分析应用类题目的比例。

另外，真实性是跨文化交际能力测试区别其他测试方法的一个重要特征，也是保证测试效度的重中之重。

然而对于什么是语言测试的真实性，测试界的看法不一。

大致看来对其定义有三种观点：

第一种是将真实性定义为“直接性”。

Harrison等人认为“测试只有用作交际时才是交际性的”，所以，“我们的测试应当尽可能直接”；而以Davies为代表的一方却不以为然，认为“交际性测试并非要求测试本身应该是交际性的”。

客观地说，能力是不能直接考查出来的，因为大脑神经的活动过程无法用试卷来测量。

从这个意义上来说，所有的测试都是间接测试。

第二种是将真实性定义为与现实生活的相似程度。

由于现实生活中语言的使用变化很大，我们不知道哪种语言任务可以作为真实性的标准，因此交际性测试很难与生活中的真实情景相吻合。

现实生活中的任何一段言语材料一旦被提取用作测试材料，必然会失去原来所具有的时间、地点和对象等条件特征，从而降低真实性；测试的场合和任务不可避免的带有人为的和理想化的因素，不管设计得如何巧妙，总会有料想不到的情况。

此外，要求受试者对外国的材料作出与外国人相同的反应是不符合实际的。

第三种是把真实性和测试的表面效度等同起来。

这一定义也存在问题，因为测试的表面效度完全是由评估者主观决定的。

针对交际性测试真实性定义方面存在的不足，有些学者提出了解决的途径，Besse等人提出了所谓的“教学真实性”，即在听过或者读过一篇材料之后，学生或受试者应知道在何种语言、社会、文化参照范围内，一个以目的语为母语者可能如何理解这篇材料，并可能对其内容做出何种反应，尽管学生或受试本人不一定有同样的反应。

Bachman提出应该从情景真实性和交际真实性来定义测试的真实性，即在命题时，使测试任务的特征与将来目的语使用的情景特征相一致，这样的测试才算具有了情景真实性。

而交际真实性则强调受试者与测试任务之间的交际关系（interaction）。

一般说来，提高交际真实性要比提高情景真实性更为复杂困难。

尽管如此，Bachman认为通过提高受试者语言能力等方面的参与完成测试任务的水平，测试的交际真实性是能够得到提高的。

Bachman的语言测试的真实性定义和标准对于交际性测试的开发和评价极有参考价值，因为提高测试的真实性可以提高测试的效度。

（2）预测效度

预测效度涉及测试的预测能力，即测试结果到底在多大程度上能够预测出将来会发生的可能性，或者说对考生未来行为作出的预测性的准确度有多高。

我们常用考试来作出某种决策，如选拔某些人出国学习，选拔考生进入高校读大学等。

这时我们关心的是考试是否真地选拔了该选拔的考生？

选错了没有？

漏选了没有？

预测效度一般是拿一次测试的结果同后来的测试结果进行比较，看看两者是否具有相关性。

比如一组学生先参加了我们自己设计的测试，又考了四级，如果这两次得分情况相关系数很高，说明我们自己设计的试题有较好的预测效度。

跨文化交际能力测试的预测效度也是很重要的。

那么如何提高跨文化交际能力的预测效度呢？

首先我们应该了解学生未来会遇到的交际场合，学生可能会和来自哪种文化的人进行交流，交际过程中可能碰到哪些真实问题，然后针对这些问题设计出题目，使学生的成绩能够在最大程度上预测出其在真实交际语境下的表现。

3.信度与效度关系

信度和效度的关系很复杂，主要体现在以下三个方面：

第一，信度与效度都是测量测试的有效性，即两者都检查测试是否起到了应起的作用，达到了什么程度，这两者对任何形式的测试来说都是非常重要的。

这是两者相同之处。

两者不同的是:

信度是指测试结果一致性的程度，与外部标准，如某一次标准化考试的结果，没有什么关系。

效度是指测试的结果与测试前的既定目的和内容相一致的程度，即测试是否包含了应考的内容，测试是否与预期目的相吻合。

效度大都与实体以外的其他标准有关，测试的结果与这些标准相比较，是否相吻合，吻合程度是否理想。

第二，可靠的测试并不一定有效。

假如我们想知道桌子的长度，这是我们的目的。

我们就用软尺或米尺去测量它的长度，几次测量的结果都是一致的，即测量出的长度是可靠的，测出的长度与我们想知道的相吻合，这就有效。

如果用称去称它的重量，几次结果也是一致的，可靠的，但重量和长度是两码事，因此称重结果无效。

我们的教育测试也是这样。

假如我们要考查学生的语法知识，测试的内容就应该是有关语法知识的题目，不能考词汇，否则无效。

第三，不可靠的测试必然无效。

只要测试的结果可靠，就能引出一定的结论；但如果结果不可靠，就不可能得出任何结论，因而，失去了可靠性，有效性也就不复存在了。

确定了可靠性之后，才谈得上测试是否有效，假如测试的内部一致性很差，很多题有毛病，如一题有两个答案，或没有答案等，信度也就很低了，效度也失去了。

在跨文化交际能力测试中，有些常见的错误是将某种文化定势，比如说：

“在A情境下，一个拉丁美洲人将会有Y行为。

”测试设计者不应从自己的个人经历或读过的文字材料中主观地描述一个文化情境，因为这很有可能只代表了这一文化中少数人的行为。

更好的题目可以是：

“一个墨西哥人在Y情境下可能会有X行为。

”或者“一个生活在利马（秘鲁首都）的中产阶级秘鲁男人在Y情境下可能会有X行为。

”每种文化中都存在各种不同的文化模式，所以测试设计必须小心对待。

信度和效度是紧密相连、不可分割的。

跨文化交际能力测试的目的是测量考生的文化意识、文化知识和文化技能等多方面的综合素质，所以在设计试卷时，不能为了追求单纯的信度或单纯的效度而忽视另一方，而应采取一种积极平衡的态度，即研究并发现影响考生成绩的因素，消除不利因素的影响，加大有利因素的影响，这样才能既保证效度，又有了信度。

4.可行性

可行性即测试的可操作性，它与测试的信度和效度之间存在质的区别；可行性是指制约施考过程的因素，而信度和效度主要考虑的是考试质量或结果。

我们知道，制约施考过程的因素包括:

资源因素、人力因素和时间因素。

资源因素指考试场地、考试所需的设备、阅卷设施等。

人力因素指考官、监考人员、阅卷人员等。

时间因素指实践考试所用时间。

因此，我们在设计考试时，必须先考虑到这些因素，否则，一个不实用的考试再完美也只能是纸上谈兵。

对跨文化交际能力的测试需要多样的测试形式、特定的场景搭建、真实语境的还原等与普通测试不同的资源支持，只有这样才能保证测试的科学性及可靠性。

但是，我们在设计测试题目时必须考虑到可行性问题，即使设想的很好，如果不能在实际操作过程中有效地实施，就会导致本末倒置的状况，结果也只是追求形式的完善，而忽略了实际操作中会遇到的障碍，造成不必要的损失。

二、跨文化交际能力测试的内容与方法

经调查研究发现，出现在文化测试卷上的试题往往都是考查一些浅显的历史、地理问题，很难准确地测出受试者的跨文化交际能力。

那么究竟如何测试跨文化交际能力呢？

是否我们设计的题目应该针对测试目的呢？

是否应该涵盖艺术和文学方面的知识呢？

是否应该与语言知识紧密相关呢？

跨文化交际能力测试应该主要从三方面测试受试者的能力：

文化意识、文化知识和文化技能。

学生在学习了与目的文化相关的知识一个学期或者一年后，是否有一些观念上的改变呢？

他们对于目的文化的态度是否随着与之接触的加深而变得更积极了呢？

他们是否能将这种态度推及到其他文化呢？

首先我们应当明白文化测试的内容是什么。

测试跨文化交际能力，实际上就是测试文化理解力的掌握程度。

当然在初级阶段也包括对于文化知识的考查。

在总结几位专家观点的基础上，我们认为文化测试命题应包括以下几个方面:

●文化知识（knowledge）:

Valette（1977），Lafayette，Schulz（1975）都同意测试中应该包含考查文化知识类的内容。

通过掌握文化知识，语言学习者可以了解目标语文化中的一般背景知识，从而为深层次的文化敏感性、宽容性打下基础。

Nostrands（1970）的文化目标中的theabilitytodescribe,ortoascribeto,theproperpartofthepopulationapatterninthecultureorsocialbehavior,theabilitytorecognizeapatternwhenitisillustrated属于这一类。

●文化理解（understanding）:

Valette（1995）测试目标中的understandingdifferences和understandingthevaluesofthetargetculture都属于这一范畴。

Nostrands（1970）的theabilityto“explain”apattern与这一类相符。

●文化表现（behavior）:

Nostrahds（1970）的文化目标中的theabilitytoreactappropriatelyinasocialsituation,theabilitytopredicthowapatternislikelytoapplyinagivensituation,theabilitytoevaluatetheformofastatementconcerningaculturepattern,theabilitytodescribeormanifestanattitudeimportantformakingoneacceptableintheforeignsociety,theabilitytodescribeordemonstratedefensiblemethodsofanalyzingasocioculturalwhole,theabilitytoidentifybasichumanpurposesthatmakesignificanttheunderstandingwhichisbeingtaught可以被归为文化表现类。

他们实际上也就是跨文化交际能力在现实生活中的应用。

但是对于Valette（1977）的commandofetiquette和Seelye（1984）的culturalconnotationsofwordsandphrases等文化能力，我们就不必生硬地把它们确切地定位于某一阶段。

三个阶段都可以包含对于这些能力的考查。

莱萨德-克劳斯顿（Lessard-Clouston）提出文化测试包括三个方面的内容：

一是文化意识，即对目的文化差异的敏感性和对目的语文化的实际功能的理解；二是文化知识，即关于目的文化和社会文化情境的信息，比如目的语国家国情、惯常的社会行为方式、价值观等；三是文化技能，指运用目的语文化进行交际的能力。

文化测试应当与文化教学的目的挂钩，二者不能脱节。

具体说来，可以采取以下几种方法来测试文化教学效果：

1.测试文化意识

对于学生态度的转变的最客观最简单的评价莫过于在课程开始时对他们进行一次测试，课程结束之后再进行一次测试。

以下我们将介绍四种测试方式，但实际上它们中没有一种能够帮教师下结论说某一个学生的态度如何转变了。

这些测试会告诉教师的是所有学生作为一个整体态度转变的情况。

另外，这些测试应该是匿名进行的。

我们之所以不能用一次测试的成绩来给一个学生对文化的态