方差分析的统计检验力和效果大小的常用方法比较.docx

资源描述

方差分析的统计检验力和效果大小的常用方法比较.docx

《方差分析的统计检验力和效果大小的常用方法比较.docx》由会员分享，可在线阅读，更多相关《方差分析的统计检验力和效果大小的常用方法比较.docx（16页珍藏版）》请在冰豆网上搜索。

方差分析的统计检验力和效果大小的常用方法比较.docx

方差分析的统计检验力和效果大小的常用方法比较

心理学探新2011,Vol．31,No．3,254－259

PSYCHOLOGICALEXPLORATION

方差分析的统计检验力和效果大小的常用方法比较*

胡竹菁戴海琦

（江西师范大学心理学院,南昌330022

摘要:

本文对用方差分析统计检验力和效果大小进行估计的几种不同方法作了简要的介绍和比较。

关键词:

方差分析的效果大小;方差分析的统计检验力

中图分类号:

B841．2文献标识码:

A文章编号:

1003－5184（201103－0254－06

1方差分析的统计检验力和效果大小的含义

关于统计检验力（Thepowerofastatisticaltest

的含义,美国著名心理统计学家J．Cohen曾指出:

“当虚无假设为假时…,关于虚无假设的统计检验

力是指导致拒绝虚无假设的概率。

”[1]

关于效果大小（effectsize,ES的含义,J．Cohen

在同一本专著中指出:

“当虚无假设为假时…,它总

是在一定程度上的虚假。

效果大小（effectsize,ES

是指某个特定总体中的某种特殊的非零的数值。

这

个数值越大,就表明由研究者所处理的研究现象所

造成的效果越大…效果大小本身可以被视为是一

种参数:

当虚无假设为真时,效果大小的值为零;当

虚无假设为假时,效果大小为某种非零的值。

因此,

可以把效果大小视为某种与虚无假设分离程度的指

标。

”[1]

最近几年,我国心理学界也有越来越多的学者

注意到这一领域研究成果的重要性并加以介绍和评

述:

如权朝鲁对“效果量的意义及测定方法”作了简

要述评[2];胡竹菁曾以平均数差异显著性检验为

例,对实验数据进行假设检验后继续对其统计检验

力和效果大小进行估计的基本原理和方法作了简要

介绍[3]。

甘怡群[4]、舒华[5]等也在各自主编的教科

书中有专门论述统计检验力的章节。

本文拟以单因

素和两因素完全随机实验设计的方差分析为例,对

方差分析后的统计检验力进行估计的几种不同方法

作一简要介绍和比较。

在心理统计学中,方差分析（即F检验中的虚

无假设一般是H

=μ

=…=μ

其备择假设

则是指H

…μ

不完全相等,方差分析的统

计检验力（poweroftest,即1－β的含义与平均数差异显著性检验的统计检验力1－β的含义在实质上都是一样的,都是指在虚无假设H

为假（备择假

设H

为真时,正确拒绝H

的概率。

方差分析效果大小（effectsize的含义也基本上与Z检验或t检验的效果大小的含义相同,只不过它反映的是多组实验处理下不同组之间实验效果差异大小的指标。

由于J．Cohen提出的方差分析统计检验力的估计方法需要先计算其效果大小,因此,本文将先介绍方差分析效果大小的估计方法,而后再介绍方差分析统计检验力的估计方法。

2单因素方差分析效果大小的估计

目前,学术界对于如何评估方差分析效果大小至少存在两类不同的指标体系:

一类以η2作为指标,另一类以粗体小写字母f值作指标。

J．Cohen认为,可以用η2来作为方差分析效果大小的指标,其计算公式为[1]:

η2=

组间

总体

目前,西方较多学者采用这种方法来估计方差分析的效果大小[6－8]。

我国学者舒华等则认为,可以使用η2的平方根即eta作为方差分析效果大小的指标,其计算公式为[5]:

η=

组间

槡总体（注:

原书的表达形式为:

eta=SS组间

槡总体第二类以小写字母f值作指标体系评估方差分析效果大小的方法包含以下两种:

1有些学者（如甘怡群等认为,可以用下列公式来计算方差分析的效果大小f值[4]:

槡n

*基金项目:

江西省高等学校教学改革研究省级立项课题（JXJG－10－2－27。

式中,根号内大写字母F是该次方差分析后得到的检验统计量,

n是指各组人数相等时每个组的人数,如果各组人数不相等,则需要计算各组人数的调和平均数nH。

2美国纽约大学的学者B．H．Cohen认为,用f=

槡

计算得到的f值是效果大小的有偏估计,因此采用下列公式来计算方差分析效果大小

[9]

k－1（

槡

n这一公式用粗体小写字母f来表示方差分析效果大小,以示与f区别。

式中,根号内大写字母F和小写字母n的含义与上一公式相同,

k指分组数。

在上述两类估计方法中,第一类估计方法是以“实验处理之后各组间平方和在总体平方和中所占的比重”的计算方法为基础,第二类方法则是以F检验中备择假设分布的期望F值作为理论基础来评估效果大小的f值或期望f值。

J．Cohen指出,这两类估计方法的相互关系是

[1]

1－η槡

美国心理统计学家Runyon等人编写的《心理统计》一书就用f=

1－η槡

2的计算结果作为方差

分析效果大小的指标

[10]

。

J．Cohen认为,当用η2

或其平方根η作方差分析效果大小的指标时,η2

=0．01时属于小的效果,在η2=0．06时属于中等效果,在η2=0．14时属于

大的效果。

当用f值（或期望f值作指标时,在f=0.10时属于小的效果,在f=0．25时属于中等效果,在f=0．40时属于大的效果。

下面,以一个实例来对上述计算方差分析效果大小的不同方法作一比较。

例1有人研究了个人表现的反馈类型对其自尊的影响。

让15名被试参加一项知识测验,每组各5名被试。

不管被试在测验中的实际表现如何,对积极反馈组,都告诉他们水平很高;对消极反馈组,都告诉他们表现很差;对控制组,不提供任何反馈信息。

最后,让所有的被试都参加一个自尊测验,测验总分为100分,得到的分数越高,表明自尊越强。

实验结果如表1所示,问不同反馈类型的各组被试的自尊水平是否存在显著差异?

表1不同反馈类型条件下被试自尊水平测试得分表

积极反馈组

控制组消极反馈组

84．071．059．074．075．064．081．073．062．075．074．069．084．069．075．070．0

82．0

67．0

对表1的数据进行方差分析后可以得到如表2

所示的方差分析表。

表2

不同反馈类型对被试自尊水平影响的方差分析表

变异来源平方和自由度均方F组间44822247．814**

组内4301528．67

总变异

878

以表2的数据为基础可以计算出上述不同估计方法得到的效果大小的值分别为:

（1η2=SS组间SS总体=448

878=0．51（2η=SS组间

SS槡

总体

=0．槡51=0．714（3

f=F

槡n=

7．814槡6

=1．槡30=1．14

（4f=

（k－1k·

槡n

=（3－13·7．814

槡

=0．67ˑ1．槡30=0．93（5f=

1－η槡

0．51

1－0．槡

0．51

0．槡

=1.02

由上面的计算结果可知,不同的估计方法得出

的方差分析效果大小的结果是不一样的,需要注意的是,两类方法之间由于计算方法所依赖的理论基础不一样,因此所用指标的量纲是不一样的。

问题是,

在众多的效果大小指标中,我们应该选择哪一个作为对表1所述实验数据进行方差分析后的效果大小更为合适呢?

我们认为,就理解效果大小这一概

念的含义上说,上述以η2

作为实验处理后效果大小的指标较易为人所理解,因为η2

的含义是“实验处理之后各组间平方和在总体平方和中所占的比重”[1],η2的指标值大,反映实验效果大,η2的指标值小,则反映实验效果小,因此这一指标所反映的效果大小的内涵最容易让人们所理解。

就表1的实验数据而言,方差分析后用η2

的结果作为效果大小的指标说明,在该实验中,总体变异中约有51%是来

52第31卷第3期胡竹菁等方差分析的统计检验力和效果大小的常用方法比较

自反馈类型的实验处理。

由于用η2的结果作效果大小指标的便于理解性,著名的统计软件SPSS就采用η2作为该软件“一般线性模型”模块中有关效果大小的指标。

将表1中的数据输入SPSS运行后,SPSS给出的效果大小值是“η2=0.51”（注:

英文版SPSS给出的结果标为“PartialEtaSquared”;中文版SPSS18．0给出的结果标为“偏eta方”,与上述用η2作为效果大小的指标计算出的结果完全一样。

如前所述,J．Cohen认为,当用η2作方差分析效果大小的指标时,在η2=0．14时就属于大的效果。

因此,虽然用η2作为方差分析效果大小的估计值在上述各种计算方法的结果中其值最小,但0．51的效果大小还是远远大于0．14,因此有的统计学家认为用η2作为实验处理在总变异中所占比重的估计方法一般会高估实验处理的效果,提出另外一个含义与η2大致相同的指标ω2来反映实验处理效果大小,其计算公式为:

ω2=SS

组间

－（k－1MS

eSS

总体

+MS

还是以表1和表2的数据为例,将已知数据代入公式后可得:

ω2=SS

组间

－（k－1MS

总体

+MS

448－（3－1ˑ28．67

878+28．67

=0．43

虽然ω2=0．43比η2=0．51的值更小,但被认为能更准确地反映反馈类型对被试自尊水平实验中的效果。

3单因素方差分析统计检验力的估计方法

方差分析备择假设的期望分布值通常用希腊字母Φ表示。

J．Cohen指出,方差分析统计检验力的计算公式是:

Φ=f槡n

其中,小写英文字母f值就是效果大小的指标值。

求方差分析统计检验力的过程一般是,先求方差分析效果大小,而后或者根据效果大小直接查相应的转换表求统计检验力,或者根据效果大小值求Φ值后再查相应的转换表求统计检验力。

如前所述,由于估计效果大小的方法不同,得出的效果大小的值也就不一样。

由此转换的统计检验力也会不一样。

目前,根据方差分析效果大小求其统计检验力的方法主要有以下三种:

1当用η2来作为方差分析效果大小的指标时,可以根据η2值,各组人数和分组数直接查相应的换算表求统计检验力1－β的值,Aron等的《心理统计》一书使用的就是这种方法[6]。

以表1的数据为例,分组数k=3的相应换算表有如表3所示。

表3分组数为k=3的统计检验力换算表

效果大小

η2=0．01η2=0．06η2=0．14100．070．210．51

200．100．430．85

300．130．610．96

400．160．760．99

500．190．851．0

1000．360．991．0

如表1所示,各组人数是n=6,在表3中最接近的值是n=10那一行,效果大小η2=0．51,虽然其值远远大于η2=0．14,也只能查最接近的η2=0.14那一列,结果为对本次实验数据进行方差分析的统计检验力1－β为51%。

2当用f或者用粗体小写字母f值来作为方差分析效果大小的指标时,也可以根据f或f值,各组人数和分组数直接查相应的换算表求统计检验力1－β的值,甘怡群编写的《心理与行为科学统计》一书使用的就是这种方法[4]。

以表1的数据为例,分组数k=3的相应换算表有如表4所示。

表4分组数为k=3的统计检验力换算表

效果大小

f=0．10f=0．25f=0．40100．070．200．45

200．090．380．78

300．120．550．93

400．150．680．98

500．180．790．99

1000．320．981．0

例如,由表1可知,各组人数是n=6,在表4中最接近的值是n=10那一行,通过表2的数据计算的三种f或f值分别为,f=1．14,f=0．93和f=1.02,虽然效果大小的f或f值都远大于f=0．40,也只能查最接近的f=0．40那一列,由此认为对本次实验方差分析的统计检验力1－β为45%。

3根据J．Cohen提出的Φ=槡

fn的计算公式计算出Φ值后,再根据Φ值,方差分析表中的组内自由度和分组数查相应的换算表求统计检验力1－β的值,B．H．Cohen编写的《心理统计学详解》一书使用的就是这种方法[9]。

以表1的数据为例,分组数k=3的相应换算表有如表5所示。

652心理学探新2011年

表5方差显著性检验的统计检验力表

K=3df

（Φ1．01．21．41．61．82．02．22．63．0

40．180．230．300．380．460．540．620．760．8680．230．320．420．520．630．720．800．920．97……

160．270．380．490．610．720．810．880．960．99……

ɕ0．320．440．570．700．800．880．9499*

通过表2的数据可知,组内自由度是15,在表5中最接近的是df

=16那一行。

将前述五种效果大小的值代入公式后可以得到五个不同的Φ值,然后根据Φ值在表5中可以查到相应的反映这次方差分析的5个不同的统计检验力值:

Φ1=槡

0．516=1．23,相应的统计检验力介于0．380．49之间;

Φ2=槡

0．7146=1．75,相应的统计检验力介于0．610．72之间;

Φ3=1．槡

146=2．79,相应的统计检验力介于0．960．99之间;

Φ4=0．槡

936=2．28,相应的统计检验力介于0．880．96之间;

Φ5=1．槡

026=2．50,相应的统计检验力介于0．880．96之间;

与前面所提众多效果大小指标应选哪一个合适的问题一样,这里也存在着一个在众多的统计检验力指标中选哪一个更为合适的问题。

我们认为,对这一问题的回答要注意以下两个方面:

一方面,任何一种对方差分析统计检验力的评估结果都只是一个粗略的估计,不存在完全准确的答案,就目前的情况而言,上述各种反映统计检验力的指标都有一定的理论基础,也都有专家在使用,因此,都可以作为方差分析统计检验力的指标来使用,只是在选用某种指标时要清楚其理论基础是什么。

另一方面,可以用在我国广为使用的统计软件包上给出的方差分析统计检验力的指标来对上述各种指标作一比较。

将表1中的数据输入SPSS（中文版18．0后,点击“分析”的下拉菜单中对应的“一般线性模型”,再点击“单变量（U…”后会出现一个对话框,按正确方式输入“因变量（即自尊水平”和“固定因子（即反馈类型”后,点击“选项”,在出现的各选项中选中“功效估计”和“检验效能”两项,点击“继续”后再点击“确定”,SPSS运行后给出的统计检验力的值是“观测到的效力=0．91”。

若将上述各种统计检验力结果与SPSS给出的这个结果作一比较,可以知道:

用上述第一种方法即η2=0.51（或eta=0.714直接查相应的转换表求得的统计检验力是0.51;

用第二种方法即三种f或f值（f=1．14,f=0．93和f=1．02直接查相应的转换表求得的统计检验力是0．45。

这两种方法计算的统计检验力都远远小于SPSS给出的0．91的值。

用第三种方法即用J．Cohen[1]给出的Φ=槡

fn的计算公式进行计算时,将五种效果大小值代入公式后的计算的统计检验力的结果又分三种情况:

第一种情况是将η2=0．51和eta=0．714这两种效果大小的指标代入公式后求得的统计检验力分别是介于0．380．49之间或介于0．610．72之间,远低于SPSS给出的0．91的值;

第二种情况是用公式f=

槡n求出效果大小的指标为f=1．14,代入公式后求得的统计检验力介于0．960．99之间,远高于SPSS给出的0．91的值;

第三种情况是用公式f=

（k－1

槡n求出效果大小的指标为f=0．93,或者用公式f=η2

1－η

槡2求出效果大小的指标为f=1．02,将这两个f值代入公式后求得的统计检验力都介于0．880．96之间,基本符合SPSS给出的0．91的值。

根据上述比较,笔者建议,在对方差分析的统计检验力进行估计时,先用公式f=

（k－1

槡n或公式f=

η2

1－η

槡2求出效果大小的指标,而后代入公式Φ=槡

fn求Φ值,再根据Φ值,方差分析表中

752

第31卷第3期胡竹菁等方差分析的统计检验力和效果大小的常用方法比较

的组内自由度和分组数查相应的换算表求方差分析统计检验力的值。

4两因素方差分析效果大小和统计检验力的估计方法

两因素方差分析效果大小和统计检验力的估计原理与单因素方差分析效果大小和统计检验力的估计原理基本相似,下面的例子将说明其计算过程和方法。

例2有人想采用2ˑ2两因素完全随机实验方法来研究专业知识对记忆的影响,其中因素A为被试的专业性质（含新手－专家两个水平,因素B为棋局类型（含随机摆放－比赛中盘两个水平。

实验结果如表6所示。

请检验专业知识和棋局类型对记忆成绩是否有显著影响,二者是否存在交互作用;方差分析后各因素和两因素交互作用的效果大小及统计检验力各为多少。

表6专家与新手对不同棋局棋子位置的记忆成绩

棋局类型

人员类型

Ⅰ（随机摆放Ⅱ（比赛中盘Ⅰ（新手2,4,4,3,48,1,2,4,4

Ⅱ（专家1,5,6,3,69,9,11,11,11将表6中的数据输入SPSS（中文版18．0运行并经整理后有如表7所示。

表7专家与新手对不同棋局棋子位置的记忆成绩方差分析表

变异来源平方和自由度均方F偏η2统计检验力因子A（人员64．8164．818．65**0．5380．982

因子B（棋局51．2151．214．73**0．4790．949

交互作用AˑB39．2139．211．28**0．4140．883误差E55．6163．475

总变异T210．819

根据J．Cohen的观点,方差分析后各因素及它

们之间的交互作用的效果大小可以用以下公式来计

算[11]:

η2effect=

effectSS

effect

+SS

将表7中的相关数据代入这一公式可分别得到:

η2A=

+SS

64．8

64．8+55．6

=0．5382

η2B=

+SS

51．2

51．2+55．6

=0．4794

η2AˑB=

AˑB

+SS

39．2

39．2+55．6

=0．4135

将上述各计算结果与表7中SPSS统计软件包给出的计算结果进行比较后可以知道,两者之间的结果是完全一样的,这表明可以用偏eta方来作为两因素方差分析效果大小的指标。

两因素方差分析统计检验力的计算过程与单因素方差分析统计检验力的计算过程相似,也是通过以下三个步骤来完成:

1用公式f=

k－1

（kF

槡n计算方差分析效果大小;

2用公式Φ=f槡n计算Φ值;

3根据Φ查表求与各因素及其交互作用相应的统计检验力值。

将表7中列出的各因素及其交互作用的F统计量,第一步可分别得到:

k－1

（kFA

槡n=2－12·18．65

槡10=0．965

k－1

（kFB

槡n=2－12·14．73

槡10=0．858

AˑB

k－1

（kFAˑB

槡n=2－12·11．28

槡10=0．751根据这些f值可计算相应的Φ值为:

ΦA=f槡n=0．槡

965ˑ10=3．05

ΦB=f槡n=0．槡

858ˑ10=2．71

ΦAˑB=f槡n=0．槡

751ˑ10=2．37

查与表5性质相同但分组为“k=2”的方差分析统计检验力转换表可得到:

因素A的统计检验力1－β比0．96更高;因素B的统计检验力1－β应该介于0．890．97之间;两因素交互作用的统计检验力1－β应该介于0．780．92之间,与表7中所列出的由SPSS统计软件包给出的结果基本一致。

5小结

5．1本文对方差分析后进行效果大小和统计检验

力的多种不同的评估方法进行了简要介绍和评析。

5．2在五种不同的效果大小评估方法中,由于η2

的含义是“实验处理之后各组间平方和在总体平方

和中所占的比重”,用此作为方差分析后效果大小

的指标意义比较好理解,同时这一指标也为大家熟

852心理学探新2011年

第31卷第3期胡竹菁等方差分析的统计检验力和效果大小的常用方法比较2259悉的统计软件包SPSS所采用，因此，建议用η=S组间的计算结果作为方差分析后效果大小的指标。

SS总体5．3将多种计算方差分析统计检验力的方法与SPSS给出的统计检验力结果进行比较后，在对方差分析的统计检验力进行估计时，建议先用公式f=（k－1）F·或公式f=knη求出效果大小的1－η222010，30

（1）：

68－73．的估计原理与方法．心理学探新，4567891011甘怡群．心理与行为科学统计．北京：

北京大学出版社，2005．舒华，张亚旭．心理学研究方法．北京：

人民教育出版2008．社，AronA，AronE，CoupsEN．Statisticsforpsychology．北京：

2006（影印版）．世界图书出版公司，HowellDC．Fundamentalstatisticsforthebehavioralsciences．WADSWORTHCengageLearning，2001．GravetteFJ，WallnauLB．Essentialsofstatisticsforthebehavioralsciences．WADSWORTHCengageLearning，2011．CohenBH．Explainingpsychologicalstatistics．NewYork：

NewYorkUniversity，2008．RunyonRP．Fundamentalsofbehavioralstatistics．北京：

人2004．民邮电出版社，CohenJ．Statisticalpoweranalysisandresearchresults．AmericanEducationalResearchJournal，1973，10：

225－229．槡槡n求Φ值，指标，而后代入公式Φ=f槡再根据Φ值、方差分析表中的组内自由度和分组数查相应的换算表求方差分析统计检验力的值。

参考文献123CohenJ．Statisticalpoweranalysisforthebehavioralsciences．NewYoak：

PsychologyPress，1988．2003，23权朝鲁．效果量的意义及测定方法．心理学探新，

（2）：

39－44．胡竹菁．平均数差异显著性检验统计检验力和效果大小TheComparisonforAssessingMethodsoftheEffectSizeandStatisticalPowerofANOVAHuZhujingDaiHaiqi（Sch

展开阅读全文