第六章准实验研究分析.docx

1、第六章准实验研究分析第六章 准实验研究一、准实验研究的涵义及效度人们常常把实验研究称为“真”实验设计，这是因为它们具有随机安排被试（组）进行实验处理的特征。这样，实验对等组的获得及其在一定范围内的随机波动都归结于随机安排。然而，在进行教育研究时，被试的挑选和组合不可能总是随机的。在教育领域中，有许多被试是既定的，如由一个班级里的学生自然而完整地形成被试群体。当这种保持原样的组运用于一个实验中时，我们便称此实验为准实验研究。这种研究能够为教育做出有价值的贡献，但有一点很重要：研究者对实验结果的解释和推广应该特别慎重。准实验研究是指一个实验运用原始群体，而不是随机地安排被试进行实验处理。 缺少随机

2、组合本身潜在地影响着实验的效度无论是内在还是外在效度。在第5章中，我们就被试的不同挑选方式对内在效度的威胁作了说明。假设在一个实验中，采用5年级2个现成的教学班，其因变量是自然科学的成绩，操作性地定义为一次自然科学测验的分数。这些班级在先前已经按能力进行了分班，一个班级属高材生班，另一个班属普通水平班。两个班级接受不同的实验处理。假如，一种实验效果产生在高材生班，就很难证明这个效果归因于实验处理。因为能力水平和实验处理是混淆不清的，我们就没有把握对其结果做出解释。 任何因素都可能对原始群组起作用，同时我们无法证明这些组是否属于较大群体的随机样本。随机的挑选或组合是一个过程，它或者做得到，或者做

3、不到。对于准实验来说，它没有做到，因此存在着被试挑选的偏差损害实验结果的可推广性的可能。 一名采用不加处理的试验组的研究者要做些什么呢？为了实验的可推广性，必须在同一的逻辑基础上对试验组的典型性加以论证。出于对内在效度的考虑，研究者必须尽力证实两个试验组间对等的程度，这需要对与所研究的变量有关的特征或变量加以认真考虑。例如，假设现在的班级运用于一个数学教学实验中，年级水平将很可能作为一个常量，或者作为一种需要控制的变量。研究者也想得到表明这些班级具有同等能力水平的证据，假如像IQ测验分数这样的实证资料可以提供的话，这会极有助于对等组的检验。实际上，这些资料有时可用于统计对照。即使采用实证性的资

4、料，检验和确立对等组总不免带有某种基于有关实验条件和变量信息的主观判断性质。当我们解释实验结果时，必须对缺少随机性予以特别注意，因为，它可能被抵消的程度也决定了实验的内在效度的可信性。 当考虑到准实验研究的效度问题时，应该对它的缺陷有清楚的认识，并对实验组间的对等性进行确定，同时在逻辑的基础上对其可能的代表性和可推广性加以论证。二、仅施后测、非对等控制组设计 除了不是随机地将被试组成试验组外，许多准实验设计看起来非常像前章所讨论过的实验设计。当运用“非对等”这一术语时，它意味着随机意义上的非对等，但并不是说试验组间不可能在相关变量或特征上具有相似点。的确，就准实验设计来说，对其结果效度的可信性

5、，很大程度上取决于保证实验组间的相似性。 使用前章中所引人的符号，非对等控制组仅施后测设计的最简单的形式可以图解如下：G1 XO1G2 O2 这种设计表示：一个试验组接受实验处理，同时另一个试验组作为控制组不接受实验处理。对实验组G1完成实验处理不久，同时对两个试验组实施后测。这种设计可以推广为包括任意次的实验处理，对于k次实验处理，这种设计需要K+1个试验组： 假如运用两次或多次实验处理而没有对控制组进行实验处理，那么这种设计就可以称作非对等多组仅施后测设计。 非对等控制组仅施后测设计包含与实验处理次数一样多的实验组，再加上一个控制组。使用现成的试验组进行，仅在实验处理实施后测量被试一次。

6、任何实验的效度依赖于特定的实验条件，采用非对等控制组仅施后测设计的实验效度一般是较低的。这一难点可能产生于实施实验处理前挑选被试的偏差和缺少前测。除非能获得可以提供有关各试验组相似程度这样的现成资料，否则不应该采用这种实验设计。这些资料虽然不能消除被试挑选上的偏差（假设它存在的话），但它们提供的信息可以避免对实验结果的错误解释。请看下面的例子： 例6.1 一位初级中学的老师，教授初三年级4个班的自然科学课，要研究采用3种不同的新方法和传统方法（控制）对本学科实验部分的教学的影响。这位老师对4个班级分别采用一种不同的教学方法。因变量是对该课程中的实验内容实施期末考试的成绩。研究的问题可以陈述如下

7、：一项关于教学方法对初三年级自然科学考试成绩影响的实验研究。实验设计的图解如图6.30 没有实施前测，但为了检查班级的相似性，查阅了其他材料，获得了以下信息： 1在班级中，男生和女生的比例大略相等。 2学生在先前初二年级时的自然科学成绩，1, 2和4班的大约相同，而3班学生成绩稍微高些，对于诸如数学等其他学科，初二年级时的学生成绩情况相同。 3尽管这所学校大部分不是按学生能力分班，但有一个英语优等班；因为受课程安排时间的限制，3班的许多学生也在英语优等班里学习。 在这项研究里，教学时间和教师是常量。1班和4班上午上课；另两个班下午上课（指上自然科学实验课）。对于可能影响考试成绩的变量，1班、2

8、班和4班看起来很相似，然而，3班似乎是一个能力较强的班级，在解释实验结果时，这是不能不考虑的。既然任何一个班仅接受一项实验处理，那么实验处理和能力水平间可能存在着部分的混淆。 例6.1的实验结果及其解释假设后期测试呈现出以下实验结果模式：O1O2，O1和O2大于O4，而O3又大于O1和O2。 解释：方法1和方法2都比传统方法更有效，而且方法1和方法2效果相同。既然一班在上午教学，另外两班在下午教学，这些方法看来并不受一天中时间不同的影响。我们对于方法3无法得出确切的结论；实际上，它有可能不如传统方法有效，3班后期测试的高分可能归结于学生的能力。 这个例子阐明了这样一个事实：根据实验结果的情况，

9、准实验设计可以有多个解释。可以用方法3是有效的方法来解释O3的高分，也可以将O3的高分归因于实验组G3的高能力。假设测试结果O3比O1、O2和O4都低，那么就可以毫无疑问地说：方法3不如其他方法有效，至少对能力较高的学生无效。1班、2班和4班的相似性允许我们相对地承认运用方法1、方法2和传统方法得出的结论。三、前测后测非对等控制组设计 非对等控制组实验设计除了对被试也实施前测外，其他方面与非对等控制组仅施后测设计相似。这种实验设计的最简单形式仅需要两个试验组：一个实验组和一个控制组。假如不含有控制组，那么此设计称为前测一后测非对等多组设计。假如有k次实验处理，其一般形式可以图解如下：前测的结论

10、对核对各试验组的相似性是非常有帮助的，因为前测的分数是与因变量有密切联系的变量。这种前测是在进行实验前在同样的条件下对所有被试都进行的测试，其分数也可用于统计控制，在有些情况下，可能会产生增益分数。 前测后测非对等控制组设计有助于核对试验组间的相似程度，其前测的分数可用于统计控制或产生增益分数。 请看下面的例子： 例6.2在4年级进行一项采用两种新的阅读方案的教学实验，研究各方案对学生阅读成绩可能产生的影响，这项设计的实验处理是新的阅读方案，传统的方案作为控制处理。同一学区的30个小学4年级班级参加实验，不进行随机挑选和组合。每种方案都有10名教师报名参加，即两种新方案和一种传统方案各由10名

11、教师来施行。当然，每名教师只能施行一种方案。先用阅读成绩测验A卷对学生进行前测；然后用这3种教学方案教学18周；随后对学生采用阅读成绩测验B卷进行后测。这项设计可图解如图6.2。 事前测试分数有助于检查各班的相似性，但这并非是能够检查的惟一变量。由30位老师施行，且每位老师仅采用一种方案。在可能影响阅读成绩的因素方面，每10个教师的构成实验组间是否相同呢？尽管各个教师间可能存在差异，但若从全体教师考虑，10个教师一组的小组间则可能很相似，其中要检查的一个要素就是每个教师教学经历的长短。如果所有经验丰富的教师都集中到一个组里，那么在各组之间就会存在一种系统性差异。 如果30个班级所在的学校分别处

12、于诸如社会经济条件差别很大的地区，那么这点也必须加以考虑。如果把一种方案限定在一种社会经济水平不同于其他地区的学校，实验将不会得到满意效果，因为这样会造成学校影响和阅读方案影响相混淆。理想的安排方法是：每3个社会经济条件相同的学校，各执行一种方案。某些学校将可能执行两个或3个方案，尽管这种安排或许会因不同班级学生间的相互交往而导致实验数据的“污染”。 图6.2中，虽然有30个班级，但仅有3次事前测验和3次事后测验。当我们分析实验结果时，首先要核对各组的结果，但对于像此例这样的大规模研究，通过进行如下所述的更为细致的比较，对实验结果进行分门别类的整理通常是有益而又必要的。 1假设一个方案（组）里

13、的班级事前测试分数相似。比较这一方案内10个班级事后测验的分数，这些分数是彼此接近呢，还是差别很大？如果它们彼此相近，那么表明这个方案具有一致的效果；如果它们差别极大，那么固有的差异超过了方案的任何效果，或者说方案的效果对于各个班级是不一致的。 2假如前测的分数变化不一，根据前测分数，将这一方案内的班级分成两个或3个类型（高、中、低）。接着检查每一类型的后测分数，来确定这一方案内各类型间和同一种类型各个方案间增益分数是否一致。例如，假设对于前测中得分高的班级，接受新方案1实验处理的增益远大于新方案2和传统方案的增益。这是一种同一类别内的跨方案比较，同时它表明第一种方案对于那些起初就有较强阅读能

14、力的学生来说是最有效的。 3如果这些班级前测分数相似，比较同一方案内各班级后测分数。假如它们大略也相同，那么诸如教师和学校等外部因素具有统一的影响；假如分数不相同，那么这些因素产生了不同的效果。例6.2的实验结果及其解释假设出现了以下结果：O1=O3=O5，但O2O4，而且O2、O4O6，但O4大于O2，O2又大于O6。 解释：根据前测结果，一开始小组间看起来十分相近，产生方案效果：两种新方案都比传统方案有效，而且第一种新方案最有效。 在许多非对等组的实验中，实验设计尽量把控制变量作为自变量包含其中（上述的社会经济水平如果能以这种方式包括在内，那它将是一个控制变量的例子）。从本质上来说，这种设

15、计可以扩展为一种因素设计。如果随机性的某个方面得以考虑，这种实验设计的效度会大大地提高。在上述例子中，如果30个班级随机安排是不大方便的，但是将10人一组的教师分组建立在随机分配的基础上均等地进行，则是完全能办到的。这样的安排就可以使实验处理和控制处理中教师间的差异，得以折衷综合，趋于相等。当我们运用准实验设计的时候，一般都尽力让实验得到尽可能充分的控制。此外，要利用可搜集的信息来检查各组被试的相同性，对于实验结果的解释和推广应用，也应该根据这一信息的背景和实验条件来进行。四、时间系列设计 时间系列设计包括一组准实验设计，这组设计涉及到对一个或多个原始小组的反复测量，并在至少一个实验组的两次测

16、量之间进行一次实验处理。时间系列设计对那种过一段时间自然地周期性地对因变量进行测量的情景是有效的，如对一个班级的反复测试。观察测量应该是一致的，但因为存在多个因变量，要达到一致性可能是不容易的。 时间系列设计就是对一个或多个原始的被试组进行反复测量，并在至少一个组的两次测量之间插入实验处理。 单组时间系列设计 一个单组时间系列设计可以简单地图解如下： G O1O2O3XO4O5 我们已经指出，系列设计没有对被试组进行随机分配。可以有任何可能次数的观察或测量，实验处理的插入，可随机地进行。观察测量可以与例行的考试合并进行，如在一个班级中每4个星期一次的测验。 时间系列设计的一个特征就是可能的结果

17、模式有很多。这就产生了一个内在效度的问题，尤其是仅有一个被试组的实验，对于实验结果可能有其他解释，而未必是实验处理的效果。图6.3表示了3种可能出现的结果模式。坐标中横轴上的OS代表测量，纵轴代表因变量的量度。 任何一个特定的实验和一种因变量，只能有一种结果模式。对于A模式的解释是：这项实验处理显然是有效的。直线的倾斜度直到第5、6次测量之间才趋于平缓。从表现上看，B模式好像没有什么实验处理的效果。然而最后两次测量间出现的明显上升，则可能说明这一实验处理不是无效，而是迟效。如果没有明显的外部事件造成这一变化，那么以实验处理效果来解释当然是合乎情理的。鉴于此因，预见到实验处理的介入与实验效果的出

18、现之间的间隔时间，是很重要的。对于一定的变量，在B模式中的效果和它在A模式中的效果一样明确。应该指出，随着时间间隔的延长，无关干扰事件介入的可能性也会相应增加。 C模式的不规则曲线，几乎排除了对实验处理做出结论的可能性。由于没有控制组，很难推断不受实验处理的结果模式会怎样。各测量点之间的波动可能表示有其他因素发挥了作用，而且其作用的强度超过了实验处理的效果。这时候，有必要对实验加强控制，直至它灵敏地反映出实验处理的效果来。然而，我们不能根据C模式的曲线得出实验处理无效的结论。 时间系列设计中的多次观测是颇有用处的，它不仅能使研究者据此确定实验处理的可能效果，而且在效果可能不出现时，使研究者避免

19、做出草率的推论。思考一下C模式，如果只有O3和O4两个观测结果，那么研究者将做出结论：实验处理有效。其实两次观测结果的差异可能更应归结于其他因素。对于B模式，如果只观测O3和O4（甚至再加上O5），那么可能存在的迟效将会被忽略。因此，全面地考虑整个模式是很重要的。请看下面的例子： 例6.3 一位理疗师在对12个人一组的病人实施一项为期9星期的康复计划。小组成员每天都要接受治疗，在每周末根据一份身体能力测试表进行测试。除了第7周（在随机的基础上决定的）期间施行一种实验治疗法之外，都采用一种传统类型的治疗法。此项设计可以图解如下： G O1O2O3O4O5O6XO7O8假设此项实验的实验结果呈现如

20、图6.4所示的模式，这些实验结果将怎样解释呢？有力的证据表明：实验治疗法要比传统治疗法更有效。前6周的身体改善状况的模式非常一致，但整个第7周，曲线呈现出急剧上升趋势。在第8周期间，身体好转的状况又恢复到早期水平。这样，除非有某种其他因素影响，否则为何第7周期间体质测试成绩上升很快呢？这为解释实验效果提供了很好的事实。在此实验中，保持观测的一致性是没有问题的，因为贯穿实验始终，都采用同一份体质成绩测试标准。我们来看另外一种情况。一位小学教师运用时间系列设计来检验拼写练习中个别练习与小组练习的效果，他以所教的班作试验组，每周这个班都在课外安排一定的时间来进行拼写练习，而且每星期五进行一次测验。平

21、时的练习方式都是个别练习，但6周后的一个星期，采用小组练习的方式，并作为实验处理来进行。这一实例中的一个重要问题，就是保持每周测验难度水平的一致。如果小组练习之后的测验比其他星期的测验容易，那么这一周班级的分数就会偏高，较容易的测试干扰了对实验结果的解释。当然，无论练习的方式如何，练习时间的长度应该是个常量。 多组时间系列设计 单组时间系列设计可以扩展，使其包括两个或两个以上的组。这种实验设计通常包括一个控制组，这种情况的设计例子可以图解如下： 此外，可以进行任意次数的观测，并且实验处理随机地插入一个实验组，各组测量的次数也要相等。多组时间系列设计包含两个或两个以上的原始被试组，其中一个小组可

22、以作为一个控制组，应至少对一个小组插入实验处理。 两个或两个以上小组得出的结果巩固了多组时间系列设计的地位，因为它为实验提供了比较，因而也就增强了实验的内在效度。例如，这种设计提供了一种检验伴随实验处理的外部事件是否起作用的可能性。假设在一个有控制组的实验设计中，对实验组实施实验处理之后，立刻进行观测所得的观测结果表明：两组都产生一个非常大的增长。既然在两组中都产生了这种增长，这就不能说是一种实验的效果（因为控制组没有接受实验处理），因此这很可能归因于同时影响两个组的某种外部因素。 在实验处理之前进行观测的结果可以用于检查小组间的相似性。对于任何多组准实验设计，小组间的相似性越大，从实验结果中

23、得出的结论就越可靠。请看下面的例子： 例6.4 一个老师教1年级3个班的代数，他决定进行一项研究，其研究问题可以陈述如下：一项关于不同反馈类型对代数成绩影响的研究。在这个学期中，这位老师进行了5次同等难度的一小时代数测验。尽管随着教学的进展，这些测验涵盖了不同的教学内容，但因为老师精心采用了难度水平大致相等的题目设计试卷，因而每次测验具有大体相同的难度。在第2次和第3次测验之间，教师给1班以正反馈（X1)；给2班以负反馈（X2)，对第3班不做任何反馈（控制处理）。这项实验的图解如图6.5。这一实验设计不但可以使教师在两个实验组间做比较，而且也可以在实验组与控制组间进行比较。注意到实验处理仅在两

24、次观测之间实施，在这一点上，我们可以考虑可能的实验结果模式和可以做的有关解释。因为有很多的观测值，解释结果就需要我们对之加以整理。下列格局我们可以独立地加以考虑。 解释：正反馈(X1）提高了学习成绩，其效果持续到第4次观测O4；负反馈（X2）降低了学习成绩，但它仅产生了一个短暂的影响效果。因为第3组G3的学习成绩高度一致，看起来不像有任何外部因素在导致成绩发生变化。尽管没有随机地安排各被试组，但依据代数考试成绩，最初各班的考试分数是相等的，所以各小组在实施实验处理前看起来是大体相似的。 解释：因为这种模式中第3组（G3）和第2组（G2）相同，那么负反馈(X2）无效。正反馈X，提高了学习成绩，至

25、少显示了有直接的效果。因为所有的班级在第4次测验中成绩都提高了，所以很难对正反馈(X1）的长效性做出任何推断。各个班级代数成绩的一致提高很可能归结于一种外部因素。无论什么因素引起了这种增长，它都产生了一种持续到第5次测验的效果。既然各班开始测试的分数都相等，因此各班在实验开始时看起来是相似的。当然，伴随大量的观察，像上面的事例，有可能出现大量不同的结果模式。假如这些模式都是无规则的，要得出一般性结论往往是困难的；如本例中，若各班的观测结果始终波动不定，就很难得出结论。另外，如果先于引入实验处理前的各班测试得分存在差异，那么就很可能存在一种选样的偏差。 时间系列设计的变形 前面的讨论集中在单组和

26、多组时间系列设计这是时间系列设计的基本形式。然而，有一些实验设计的变型也可归于这种设计中。在时间系列设计中观测的次数依赖于所研究的变量，但应该有足以建立结果模式的充分的观测值。其中一种变形是增加时间系列中观测的次数，对于长期的实验或对于那些观测值可以紧密排序的实验，观测的次数甚至可能达到15次或20次。假如实验时间被延长，增加观测的次数确实会增加外部因素产生作用的可能性。 另一种变形是在时间系列中插入多于一次的实验处理。如果时间系列被延长，这种变异是很有可能的。多次插入实验处理为这项实验效果（如果这一效果存在的话）的一致性，提供了一种核对的条件。有两种途径可以完成实验处理的多次插入：(1)以随

27、机的方式两次或两次以上将实验处理插入时间系列；(2）一旦将实验处理插入，那么使它继续保持在实验的后续部分中。这两种方法可以图解如下： 1多次随机插入X G O1O2XO3O4O5XO6O7O8 2连续插入X G O1O2O3XO4XO5XO6XO7XO8 这些方法中的任何一个都可用在上例代数班级的实验处理中。X1和X2的两种强化可以多次随机地插人时间系列中；或者在它们第一次插人后，将它们持续地保持在这一学期的后续部分实验中。五、单个被试设计 教育研究中大多数实验研究涉及的是包含多个被试的群体，换言之，我们试图通过实验获得可用于群体而不是个体的实验结果。然而，对于有些实验情境，采用个体被试是合适

28、而且是必要的本质上讲，样本就是一个。在这些单个被试情境中，基本的实验方法是研究在实验条件和非实验条件下的个体。 单个被试研究有助于教师从事个别学生的研究（可能的行动研究）。以个体的方式对学生进行指导的辅导员，就可以使用单个被试设计。那些康复和理疗领域的研究者也可采用个别研究。一般来说，一个被试因为某种情况或问题参与一项研究，不存在随机挑选或分配的问题。因此，单个被试设计通常被认为是准实验设计。 单个被试设计一般要进行反复观测，有时要对因变量进行好几次观测。而且观测要高标准严控制，这样，观测的差异才不至于被解释为一种实验效果。我们必须对实验的条件加以细心描述，这样不但能加强实验结果的解释，而且有

29、助于对实验结果的可推广性做出判断。 单个被试设计具有常被称为“单一变量规则”的特征。其意思是，在实验处理实施期间，仅有一个变量（即实验处理）改变。在传统处理（或称基线处理）和实验处理期间，所有其他条件诸如时间长度、观测次数等，都保持不变。为了避免把某种其他效果误解为实验处理效果，有必要对实验结果做出解释。 传统的处理或正常条件起作用的这段时间被称为基线，这段时间应该长得足以保证因变量得以稳定。假如一个因变量正波动不定时，实施了实验处理，那么就不可能判定因变量的变化是否归因于实验处理。 单个被试设计通常要进行反复观测，同时它还适用于“单一变量规则” 一次实验仅改变一个变量。 正如其他任何准实验设

30、计一样，效度也是单个被试设计需要关注的一个问题。研究者必须对内在效度加以确定，然后才能对实施结果做出解释。同时要考虑到对实验观测结果（非实验效果）的其他解释，正如我们所希望的，对这些解释要去伪存真。面对多种的解释，有必要尽可能保持对实验的控制，同时要了解研究中可能起作用的其他变量的属性。外部效度依赖于研究工作和其他情景的相似性，这必须在一种逻辑的基础上加以论证。 A-B设计 我们采用一组相当独特的符号来表示单组被试设计，A和B用来代表实验条件：A表示基线条件，B表示实验处理条件。既然实验使用个体被试，就不需要被试组符号。 A-B设计是最简单的单个被试设计。一般来说，这种设计可以图解如下： 在这一设计中，研究者要在基线条件下观测单个的被试，直到因变量趋于稳定。接着将实验处理引人实验，再对被试进行相同次数的观测。图底部的TA和TB代表着实验设计中的时间段，并且TA = TB。对A-B设计实验结果的解释是建立在这样的假设基础上的，即要是实验处理没有引人的话，基线条件下的观测结果就不会发生变化。这种设计极易受其他变量的影响，这些变量可能与被试的经历和成熟有关，并可能被作为实验处理效果的成因来解释。这当然会成为对内部效度的一种威胁。既然两种条件之间产生的变化仅有一次，在某种意义上，就其内在效度而论，A-B是最差的单组