SAS学习系列27 秩和检验.docx

1、SAS学习系列27 秩和检验27. 秩和检验（一）参数检验与非参数检验通常情况下，对数据进行分析时，总是假定误差项服从正态分布，因为正态分布的原始出发点就是来自于误差分布，至于当样本相当大时，数据的正态近似，这是由于大样本理论所保证的。但有些资料不一定满足上述要求，或不能测量具体数值，其观察结果往往只有程度上的区别，如颜色的深浅、反应的强弱等，此时就不适用参数检验的方法，而只能用非参数统计方法来处理。这种方法对数据来自的总体不作任何假设或仅作极少的假设，因此在实用中颇有价值，适用面很广。一、统计方法分为参数统计和非参数统计参数统计已知总体分布类型，对未知参数进行统计推断，依赖于特定分布类型，比

2、较的是参数；非参数统计不以特定的总体分布为前提，不对总体参数推断；比较分布或分布位置；适用范围广，可用于任何类型资料（等级资料）。二、参数检验与非参数检验的特点、优缺点、应用对比（二）符号检验和Wilcoxon符号秩检验一、单样本的符号检验符号检验，最简单的非参数检验方法，是根据正、负号的个数来假设检验。 符号检验可用于：（1）样本中位数和总体中位数的比较；（2）数据的升降趋势的检验；（3）特别适用于总体分布不服从正态分布或分布不明的配对资料；（4）定性表示的当配对资料（如试验前后比较结果为颜色从深变浅、程度从强变弱，成绩从一般变优秀）。对于配对资料，符号检验的基本步骤为：首先定义成对数据指定

3、正号或负号的规则，然后计数：正号的个数S+及负号的个数S-. 注意：不能标记正负号的观察值要从资料中剔除；1. 当小样本（n20）时，用二项分布（1）检验配对资料试验前后有无变化原假设H0：配对资料试验前后无变化（S+和S-可能性相等），正号/负号出现的概率均为p=0.5, 故S+和S-均服从二项分布B(n,0.5). （2）检验试验后正号有无增加原假设H0：正号出现的概率p0.5. 若p0.5则拒绝H0，表明正号有增加；（3）检验试验后正号有无减少原假设H0：正号出现的概率p0.5. 若p20）时，用二项分布的正态近似用S表示正号或负号的个数，则SB(n, p), 期望均值为np，方差为np

4、(1-p)，当n较大时，可以近似地认为符号检验时p=0.5代入上式即可. 当Sn/2时，应该修正S为S-0.5；当 Sn/2时，应该修正S为S+0.5. 目的是为了能将连续分布应用到近似的离散型分布。二、配对资料的Wilcoxon符号秩检验若两组配对资料近似服从正态分布，则它们差值的检验可以使用配对t检验法；若配对资料的正态分布的假设不成立，可以使用Wilcoxon符号秩检验（非参数检验）。Wilcoxon符号秩检验是对配对资料的差值采用符号秩方法来检验。基本要求是差值数据设置为最小的序列等级和两组配对资料是相关的（配成对）。在两组配对资料的差异有具体数值的情况下，符号检验只利用大于0和小于0

5、的信息，即正号和负号的信息，而对差异大小所包含的信息却未加利用，但Wilcoxon符号秩检验方法既考虑了正、负号，又利用了差值大小，故效率较符号检验法高。基本步骤：1. 假设检验（比较两个总体均值（中位数）是否有显著差异）H0：两个总体的均值（中位数）相同；H1：两个总体的均值（中位数）不相同；先求出每对数据的差值D，按其绝对值由小到大排列（去掉差值为0的数据，相同值用平均秩），并将其“排列顺序号”编为秩R. 然后将R分成正和负差值的两个部分秩值R+和R-，最后求符号秩和T+=R+, T-=R-（注意：T+ T-=n(n+1)/2）；符号秩的平均值为n(n+1)/4. 再构造Wilcoxon符

6、号秩统计量为若H0为真，T+与T-应该有相同的值=n(n+1)/4，因此太大的S值或太小的S值都是拒绝H0的依据。在实际中为了便于计算，常取W=min(T+, T+)作为统计量，W服从Wilcoxon符号秩分布。查表在显著水平下，关于n的双侧检验的临界值Wb，则得W值的拒绝区域为0, Wb，接受域为Wb, n(n+1)/4，若W统计量20样本，当原H0为真时，统计量T= T+-T-接近于0，其方差为建立检验统计量近似于标准正态分布。由于T= T+-T-= 2T+-n(n+1)/2，故可将上式中的T改写为T+的形式：标准正态分布使用显著水平=0.05时，拒绝区域为z1.96，因为2.241.96

7、，计算出z统计量的值，判断拒绝H0与否。三、SAS实现（PROC UNIVARIATE过程步）例1 检验提高学生某种素质的训练是否有效。随机地选取15名学生作为试验样本，在训练开始前做了一次测验，每个学生的素质按优、良、中、及、差打分，经过三个月训练后，再做一次测试对每个学生打分（素质提高用+表示，降低用表示，无变化用0表示）。表1 训练前后的素质比较学生编号训练之前训练之后差异符号1中优2及格良3良中4差中5良良06中优7差及格8良优9中差10差中11中优12及格良13中及格14中优15差中为了处理，先对定性资料进行量化：用1,2,3,4,5，分布表示差、及格、中、良、优。代码：data t

8、raining;input before after ;d= after-before;datalines;3 5 2 4 4 3 1 3 4 43 5 1 2 4 5 3 1 1 33 5 2 4 3 2 3 5 1 3;run;proc print data = training;title 原始数据;run;proc univariate data = training;var d;run;运行结果及说明：注意：只能调用univariate过程，而不能调用means过程来进行符号检验。分析变量为单样本数据集training中的d变量。符号检验统计量M(Sign)=4，它是取正符号和负符号

9、两者之间的小者作为检验统计量（？）Pr=|M|计算的概率是二项分布的两尾概率之和，因此它是双侧检验，检验正符号和负符号是否相同，结果为0.0574。在显著水平设定为0.1时，由于0.05740.05，则变为不能拒绝原假设。但是，如果用考虑差值d大小的信息的Wilcoxon符号秩检验，即Sgn Rank，由于0.01540.05配对资料如果其差值不是具体数字，只能用符号检验。但如果差值有具体数字，而使用符号检验，相当于只利用了它的“+”、“-”，而对数字大小中所包含信息却未加利用。此时，若符合正态分布则使用配对资料的t检验；若不符合正态分布则用Wilcoxon符号秩检验。差值D的正态性检验的结果

10、为0.53380.05，因此不能拒绝差值D具有正态性。因为制造商拒绝相信差值D具有正态性，所以采用Wilcoxon符号秩检验。Wilcoxon符号秩统计量S=22。SAS建议在n20时，Pr=|S|的概率由S的精确分布计算，而S的分布是尺度二项分布的卷积，所以精确结果为p值=0.0234 20时，将符号秩统计量S标准化成自由度为1的t统计量来计算显著水平（注意跟前文的转换成标准正态分布略有不同），原因是当较大时，t分布渐近标准正态分布。另外，SAS系统在计算秩统计量S的方差时，用结值来修正方差。p值=0.0194 0减0.5修正，对于Wx- 0加0.5修正。二、PROC NPAR1WAY过程步

11、（单因子非参数方差分析）NPAR1WAY过程，是分析变量的秩，并计算几个基于经验分布的函数和通过一个单因子分类变量的响应变量确定的秩得分的统计量。 秩的得分计算有：Wilcoxon得分、中位数得分、Savage得分和Van der Waerden得分等。然后再由秩得分计算简单的线性秩统计量，由这个秩统计量可以检验一个变量的分布在不同组中是否具有相同的位置参数，或者在EDF检验下，检验这个变量分布在不同组中是否分布相同。秩得分的统计量也可以先用proc rank过程计算秩得分，然后用proc anova过程分析这些秩得分而得到。秩得分计算，用线性秩统计量：其中Ri为第i个观察的秩，a(Ri)为秩

12、得分，Ci是一个指示向量（由0和1组成），它表示了第i个观察所属的类，n是观察的总数。下面介绍NPAR1WAY过程的四种不同的a(Ri)秩得分的计算：（1）Wilcoxon得分a(Ri) = Ri它对Logistic分布的位置移动是局部最优的。在计算两样本情况下的Wilcoxon秩和统计量时，过程对零假设下的渐近标准正态分布的Z统计量进行一个连续的0.5校正。（2）Median得分又称为中位数得分。当观察的秩大于中位点时，中位数得分为1，否则为0. 对于双指数分布，中位数得分是局部最优。（3）Van der Waerden得分简称为VW的得分，是对正态分布的次序统计量的期望值的近似：a(Ri)

13、 = F-1(Ri/(n+1)其中F-1(x)是标准正态的累积分布函数的反函数，这个得分对正态分布是最优的。（4）Savage得分是指数分布的次序统计量的期望值，减去1使得得分以0为中心：它在指数分布中比较尺度的不同性或在极值分布中的位置移动上是最优的。基本语法：PROC NPAR1WAY data=数据集 ;BY 变量;CLASS 变量;EXACT 统计量选项;FREQ 变量;OUTPUT ;VAR 变量列表;说明：（1）可选项：ANOVA方差分析CONOVER协方差分析D运用Kolmogorov-Smirnov (D)统计量评分进行分析KLOTZ运用Klotz评分进行分析MEDIAN运用中

14、位数评分进行分析MOOD运用Mood评分进行分析SAVAGE运用Savage评分进行分析（指数分布）SCORES=DATA以原始数据为评分值进行分析ST运用Siegel-Tukey评分进行分析VW/NORMAL运用Van der Waerden评分进行分析（通过应用反正态分布累积函数得到近似的正态得分）WILCOXONKruskal-Wallis秩和检验EDF计算基于经验分布函数的统计量（2）EXACT语句，对指定的统计量（选项）进行精确概率的计算。例3某航空公司的CEO注意到飞离亚特兰大的飞机放弃预定座位的旅客人数在增加，他想知道，是否从亚特兰大起飞的飞机比从芝加哥起飞的飞机有更多的放弃预定

15、座位的旅客。获得一个从亚特兰大起飞的9次航班和从芝加哥起飞的8次航班上放弃预定座位的旅客人数样本。表3 放弃预定座位的旅客人数及统一秩值航班次数亚特兰大（组）芝加哥（组）放弃人数统一编秩放弃人数统一编秩1115.513721591483103.5103.541812815115.51610620139272416171182215211492517秩和96.556.5代码：data noshows ;do group=1 to 2; input n; do i=1 to n; input x ; output; end;end;drop i n;datalines;911 15 10 18 1

16、1 20 24 22 25813 14 10 8 16 9 17 21;run;proc print data = noshows;title 原始数据;run;proc npar1way data = noshows wilcoxon;class group;var x;run;运行结果及说明：选项wilcoxon要求进行wilcoxon秩和检验。要注意，若两组样本是配对样本，应该使用配对t检验或wilcoxon符号检验，因为使用wilcoxon秩和方法，将损失配对信息。组1和组2的秩和分别为96.50和56.50。原假设H0为真时（组1和组2的总体分布相同），期望秩值分别为（96.50+5

17、6.50）9/（9+8）=81.0（96.50+56.50）8/（9+8）=72.0标准差为10.3795614，每组平均得分分别为96.50/9=10.722222256.50/ 8=7.0625000Wilcoxon两样本秩和统计量（较小的秩和）S = 56.5000，正态近似检验统计量Z = -1.44515（连续性修正因子为0.5，加在分子上），正态分布的双尾p值之和为0.1484 = 0.05，不能拒绝原假设H0.同时还给出了近似t检验和卡方检验的结果：近似t检验的p值=0.1677，近似卡方检验统计量为2.2300，自由度为1，p值=0.1354。结果都是相同的，不能拒绝原假设H0

18、.（四）完全随机设计的Kruskal-Wallis秩和检验一、概述方差分析，可以检验三个或更多总体的均值是否相等的问题，数据是被假设成具有正态分布和方差齐性（相等的方差），此时F检验才能奏效。但有时数据不能完全满足这些条件，不妨将数据转换成秩统计量（秩统计量的分布与总体分布无关），可以摆脱总体分布的束缚。 在比较两个以上的总体时，广泛使用非参数的Kruskal-Wallis秩和检验，它是对两个以上的秩样本进行比较，本质上它是两样本时的Wilcoxon秩和检验方法在多于两个样本时的推广。Kruskal-Wallis秩和检验，首先要求从总体中抽取的样本必须是对立的，然后将所有样本的值混合在一起看成

19、是单一样本，再把这个单一的混合样本中值从小到大排序，序列值替换成秩值，最小的值给予秩值1，多个相同值时用平分秩值。将数据样本转换成秩样本后，再对这个秩样本进行方差分析，但此时构造的统计量KW不是组间平均平方和除以组内平均平方和，而是组间平方和除以全体样本秩方差。这个KW统计量是我们判定各组之间是否存在差异的有力依据。二、基本原理设有k组样本，ni是第i组样本中的观察数，n是所有样本中的观察总数，Ri是第i组样本中的秩和，Rij是第i组样本中的第j个观察值的秩值。需要检验的原假设H0为各组之间不存在差异，或者说各组的样本来自的总体具有相同的中心或均值或中位数。在H0为真时，各组样本的秩平均应该与

20、全体样本的秩平均比较接近：所以组间平方和为恰好是刻划该接近程度的一个统计量，除以全体样本秩方差消除量纲的影响。样本方差的自由度为n-1，所以全体样本的秩方差为：因此，Kruskal-Wallis秩和统计量KW为：若样本中存在多个相同值（结值）则需要调整KW公式，校正系数C为：其中，其中j为第j个结值的个数。调整后的KWc统计量为：KWc = KW / C如果每组样本中的观察数目至少有5个，那么样本统计量KWc非常接近自由度为k-1的卡方分布。因此，我们将用卡方分布来决定KWc统计量的检验。三、SAS实现（PROC NPAR1WAY过程步）例4某制造商从来自3个大学的雇员中随机地抽取了3个独立样

21、本，想知道来自这3个不同大学的雇员在管理岗位上的表现是否有所不同。表4来自三个不同大学雇员得分及统一秩值雇员大学A统一编秩大学B统一编秩大学C统一编秩12536095072701220270123609304609485171518015.5595204069018.569018.5355701278015.57514秩和组A秩和95组B秩和27组C秩和88代码：data colleges ;do group=1 to 3; input n; do i=1 to n; input x ; output; end;end;datalines;725 70 60 85 95 90 80660 20

22、 30 15 40 35750 70 60 80 90 70 75;run;proc npar1way data = colleges wilcoxon;class group;var x;run;运行结果：组1、组2和组3的秩和分别为95.0、27.0和88.0; 原假设H0（组1、组2、组3的总体分布相同）为真时，期望秩值分别为（95+27+88）7/（7+6+7）=73.50（95+27+88）6/（7+6+7）=63.00（95+27+88）7/（7+6+7）=73.50各组的标准差分别为12.5718985、12.0786894、12.5718985。每组平均得分分别为95/7=13

23、.5714286、27/ 6=4.50、88/7=12.5714286。原假设H0：各组的总体均值相等。按修正公式修正后的多样本的Kruskal-Wallis秩和检验统计量为8.9839，用自由度为DF=3-1=2的卡方分布近似，得到大于近似卡方检验统计量8.9839的概率为p =0.0112=0.05，拒绝H0, 表明各组的总体分布的差异是有统计学意义的。根据平均秩和的结果，组1的最高，组2的最低，因此至少组1和组2的差异是显著的。例5 对于例4，也可以用freq过程，在tables语句中选项用scores=rank和cmh，查看第二项统计量即为Kruskal-Wallis检验。代码：proc freq data = colleges formachar= |