R语言学习系列25KS分布检验与正态性检验.docx

1、R语言学习系列25KS分布检验与正态性检验23。 KS分布检验与正态性检验（一)假设检验1. 什么是假设检验？实际中，我们只能得到抽取的样本（部分）的统计结果，要进一步推断总体（全部）的特征,但是这种推断必然有可能犯错，犯错的概率为多少时应该接受这种推断呢？为此,统计学家就开发了一些统计方法进行统计检定，通过把所得到的统计检定值，与统计学家树立了一些随机变量的概率分布进行对比，我们可以知道在百分之多少的机遇下会得到目前的结果。倘若经比较后发现，涌现这结果的机率很少,即是说,是在时机很少、很罕有的情况下才出现；那我们便可以有信念地说，这不是巧合,该推断结果是具有统计学上的意义的。否则，就是推断结

2、果不具有统计学意义。2. 假设检验的基本思想小概率反证法思想小概率思想是指小概率事件（P, =0.05或0.01）在一次试验中基本上不会发生。反证法思想是先提出原假设(H0）,再用适当的统计方法确定假设成立的可能性（P值）大小，如可能性小（P），则认为原假设不成立,若可能性大，则还不能认为备择假设(H1）成立。3. 原假设与备择假设原假设与备择假设是完备且相互独立的事件组,一般，原假设（H0)研究者想收集证据予以反对的假设；备择假设（H1）-研究者想收集证据予以支持的假设；假设检验的P值，就是在H0为真时，观察到的差异来源于抽样误差的可能性大小。假设检验判断方法有：临界值法、P值检验法.四、假

3、设检验分类及步骤(以t检验为例）1. 双侧检验I. 原假设H0： =0, 备择假设H1： 0;。 根据样本数据计算出统计量t的观察值t0;. P值 = P|t| |t0| = t0的双侧尾部的面积；. 若P值（在双尾部分),则在显著水平下拒绝H0； 若P值，则在显著水平下接受H0;注意：为临界值，看P值在不在阴影部分（拒绝域），空白部分为接受域。2. 左侧检验I。 原假设H0： 0, 备择假设H1： ，则在显著水平下接受H0;3. 右侧检验I。 原假设H0： 0, 备择假设H1: 0；。 根据样本数据计算出统计量t的观察值t0（ 0）；. P值 = Pt t0 = t0的右侧尾部的面积；。 若

4、P值（在右尾部分），则在显著水平下拒绝H0； 若P值,则在显著水平下接受H0；(二)K-S分布检验Kolmogorov-Smirnov检验,用来检验一组样本数据是否服从某已知分布,或两组样本数据是否服从相同分布。用函数ks。test(）实现,基本格式为：ks.test（x， y, .， alternative=， exact=NULL）其中，x为样本数据；y为分布名(此时为该分布的参数）或样本数据；alternative设置是”two.sided双侧检验(默认）、”less左侧检验、greater”右侧检验；exact设置是否计算精确p值，默认NULL.1。 K-S单样本总体分布检验用来检验样

5、本数据是否服从某已知分布.它是一种基于经验分布函数的检验，令其中,为一组随机样本的累计概率分布函数,为真实的分布函数。当时,的极限分布满足： 原假设H0:即分布相同;备择假设H1:二者分布不同。X=c(420,500，920,1380，1510，1650,1760，2100,2300，2350) #某设备10次无故障工作时间的数据lambdamean（X）lambda1 1489ks。test（X，pexp”，1/lambda） 检验是否服从参数为1/1489的指数分布 Onesample Kolmogorov-Smirnov testdata： XD = 0.30418, pvalue =

6、0.2563alternative hypothesis： two-sided P值=0.25630.05，接受原假设H0,即服从指数分布。2。 两独立样本KS同分布检验假定有分别来自两个独立总体的两个样本,要检验是否服从同一分布。设两个样本的样本量分别为和,累积经验分布函数分别为和，令,则统计量近似服从正态分布。原假设H0：服从同一分布；备择假设H1：不服从同一分布。xx=c(0.61，0.29，0.06，0.59,-1。73，0.74,0.51，0.56,0。39，1.64,0。05,-0。06，0。64,0。82,0。37,1.77,1。09,1。28,2.36,1.31,1。05,0.

7、32,0.40,1。06,2。47)yy=c（2.20,1.66，1.38,0。20,0.36，0.00,0.96,1.56，0.44,1。50，0.30，0。66，2。31，3.29，0。27,-0.37，0.38,0.70,0.52，-0.71）ks.test(xx,yy） #检验两组数据是否服从同一分布 Two-sample KolmogorovSmirnov testdata: xx and yyD = 0.23， p-value = 0。5286alternative hypothesis： twosidedP值=0。52860。05, 接受原假设,即两组数据服从同一分布。注1：在做

8、K-S检验时，有时会有错误提示“Kolmogorov - Smirnov检验里不应该有连结，这是因为K-S检验只对连续CDF有效，而连续CDF中出现相同值的概率为0，因此R会报错。这也提醒我们,在做正态性检验之前,要先对数据进行描述性分析，对数据整体要先有个大致的认识，这也才后续才能选择正确的检验方法.注2:K-S检验主要用于定量数据，而卡方同质性检验主要用于分类数据。(三）正态性检验原假设H0：服从正态分布； 备择假设H1：不服从正态分布一、Shapiro-Wilk检验（W检验）适合在样本量8n50时使用。W检验是建立在次序统计量的基础上，对n个独立观测值按非降排序,记为，检验统计量:当总体

9、分布为正态分布时,W值应该接近于1。用函数shapiro.test()实现，基本格式为：shapiro。test(x）其中，x为样本数据。attach(mtcars）shapiro。test（mpg) ShapiroWilk normality testdata： mpgW = 0.94756, p-value = 0.1229detach(mtcars)P值=0。12290.05, 接受原假设，即服从正态分布。二、Kolmogorov-Smirnov检验（D检验）适合在样本量50n1000时使用。即将前文的K-S单样本总体分布检验的已知分布，设为正态分布即可。或者使用Lilliefor检验，

10、它是KolmogorovSmirnov正态性检验修正,使用nortest包中的函数lillie。test(）实现。基本格式为:lillie.test(x）其中x为样本数据。library(nortest)attach（mtcars）lillie。test(mpg） Lilliefors （Kolmogorov-Smirnov) normality testdata: mpgD = 0。1263， p-value = 0。2171detach(mtcars)P值=0.21710。05， 接受原假设，即服从正态分布.三、JarqueBera正态性检验是基于偏度和峰度的联合分布检验法。记偏度为S，峰

11、度为K,则统计量：用tseries包中的使用函数jarque。bera.test（)实现，基本格式：jarque。bera.test(x）其中，x为样本数据.library（tseries)attach(mtcars）jarque。bera。test(mpg） Jarque Bera Testdata： mpgXsquared = 2。2412， df = 2, pvalue = 0.3261detach(mtcars）P值=0。24120。05, 接受原假设，即服从正态分布。 注：还可以使用nromtest包中的函数jb。norm.test()和 ajb。norm。test（），前者参数除了

12、x之外，多了一个蒙特卡罗模拟值，默认是2000，后者是J-B检验的修正，主要解决JB统计量收敛速度慢的缺点。四、其它正态性检验nortest包中还提供了：1. AD正态性检验函数ad。test（x）， 计算统计量A值（越接近0越服从正态分布）和P值。2。 Cramer-von Mises正态性检验函数cvm。test（x)3。 Pearson卡方正态性检验函数pearson。test（x）4. Shapiro-Francia正态性检验函数sf.test(x）五、多元正态性检验W检验shapiro.test（）可推广到多元正态性检验，使用mvnormtest包中的函数mshapiro。test（

13、)或者使用QQ图检验，若有一个p1的多元正态随机向量x，均值为，协方差矩阵为，那么x与的马氏距离的平方服从自由度为p的卡方分布。QQ图展示卡方分布的分位数，横纵坐标分别是样本量与马氏距离平方值.如果点全部落在斜率为1、截距项为0的直线上，则表明数据服从多元正态分布。library（MASS)attach(UScereal） ycbind（calories, fat， sugars)head(y） calories fat sugars1, 212。1212 3.030303 18.181822， 212.1212 3.030303 15。151513, 100.0000 0.000000 0.

14、000004, 146.6667 2.666667 13.333335, 110。0000 0.000000 14。000006， 173.3333 2.666667 10。66667mshapiro。test(）函数检验多元正态性library（mvnormtest） mshapiro。test(t(y）) #注意要对y转置 ShapiroWilk normality testdata： ZW = 0.6116, pvalue = 7。726e12QQ图检验多元正态性centercolMeans(y)nnrow（y）pncol(y)covcov（y)dmahalanobis（y, center， cov）coordqqplot(qchisq(ppoints(n）,df=p), d， main=QQ Plot Assessing Multivariate Normality, ylab=”Mahalanobis D2）abline(a=0, b=1)identify(coord$x， coordy, labels=row.names(UScereal)