方差分析及回归分析.docx

1、方差分析及回归分析方差分析及回归分析Revised as of 23 November 2020第九章回归分析教学要求1.一元线性回归庾线性相关显着性的检验法，利用线性回归方程进行预 测。2.可线性化的非线性回归问题及简单的多元线性回归。本章重点：理解线性模型，回归模型的槪念，拿握线性模型中参数估计 的最小二乘法估计法。教学手段：讲练结合谦时分配：6课时 一元线性回归回归分析是研究变量之间相关关系的一种统计推断法。例如，人的血压y与年龄x有关，这里x是一个普通交量，y是随机交量。 Y与x之间的相依关系F(x)受随机误差的干扰使之不能完全确定，故可设有：y = f(x) + s 0式中f(x)称

2、作回归函数，为随机误差或随机干扰，它是一个分布与x无关 的随机交量，我们常假定它是均值为()的正态芟量。为估计耒知的回归函数 f(x),我们通过n次独立观测，得x与y的n对实测数据仗)匸1,n,对F(x) 作估计。实际中常遇到的是多个自变量的情形。例如在考察某化学反应时，发现反应速度y与催化剂用量百，反应温度X2,所 加压力禺等等多种因素有关。这里刃n,都是可控制的普通交量，y是随机 交量，y与诸x,间的依存关系受随机干扰和随机泯差的影响，使之不能完全确 定，故可假设有：y = f(xx2i-txk) + 这里是不可观察的随机误差，它是分布与刃,凡无关的随机巫量，一 般设其均值为()，这里的多

3、元函数f(x“,xj称为回归函数，为了估计耒知的 回归函数，同样可作n次独立观察，基于观测值去估计F(x.,xj。以下的讨论中我们总称自巫量禺西,，忑为控制更量,y为响应更量,不 难想象，如对回归函数f(x“,xj的形式不作任何假设，问题过于一般，将难 以处理，所以本章将主要讨论y和控制更量刃,X2,忍呈现线性相关关系的情 形，即假定F(xi, ,xk)=t1(+b1x14- +bkXk,并称由它确定的漠型(k=l)及为线性回归模型，对于线性回归模型，估计 回归函数f(xb,xj就转化为估计系数b。、bt(i=l,.当线性回归模型只有一个控制变量时，称为一元线性回归模型，有多个控 制交量时称为

4、多元线性回归棋型，本着由浅入深的原则，我们重点讨论一元 的，在此基砒上简单介绍多元的。 9.1.1 一元线性回归一、一元线性回归的数学模型前面我们曾提到，在一元线性回归中，有两个交量，其中x是可观测、可 控制的普通变量，常称它为自变量或控制变量，y为随机巫量，常称其为闵变 量或响应芟量。通过散点图或计算相关系数判定y与x之间存在着显着的线性 相关关系，即y与x之间存在如下关系：y=a+bx+*通常认为N：（）,j）且假设/与X无关。将观测数据（“）（=1,，n）代 入再注意样本为简单随机样本得：yi =a + bxi + i （z = 1, ,/?），&独立同分布N（0,b2）称或（又称为数据

5、结构式）所确定的模型为一元（正态）线性回归模型。对其进 行统计分析称为一元线性回归分析。不难理解模型中EY=a+bx,若记y=E（Y）, V=a+bx,就是所谓的一元线性回 归方程，其图象就是回归直线，b为回归系数，a称为回归常数，有时也通称 a b为回归系数。我们对一元线性回归漠型主要讨论如下的三项问題：对参数a, b和/进行点估计，估计量N&称为样本回归系数或经验回归 系数，而y = a+bx称为经验回归直线方程，其图形相应地称为经验回归直线。在模型下检验y与x之间是否线性相关。利用求得的经验回归宜线，通过x对y进行预测或控制。二、a、b的最小二乘估计、经验公式现讨论如何根据观测值（X），

6、=1,2,尹估计模型（）中回归函数 f（x）=a+bx中的回归系數。采用晟小二乘法，记平方和Q(a,b) = Yj(yl-a-bx,)2/-I找使Q达到最小的心b作为其估计，即Q（a,b） = min Q（a.b）寻=2勿儿-a-b兀=0为此，令() = (- + )o-2, D(b) = -a2 n L_八 JV a（3） cov（N） = _b_Atx证：（1）注意到对任意i=l,2,门有Eyi = a + bxiy Ey = a + bx,Dyt = 一亍）=Eyi-Ey= b（x -x）2Ea = E y - xEb = a + bx - bx = a（2）利用（旺一1） = 0,将N

7、 &表示为：/-I八 1 刃 _ _ 1 _“=厂工（兀一羽（ -刃=E （兀一兀）必Lxx 行 Lxx八 1 2L, f 匕 1 （Xi -X）Xq=一工y -劝=工 yi由于yi,y2, ,yn相互独立,有DpXl-= 如=却_（D甘台 “ Lxx 一，_21 总（兀一切 2 光堆f-Qz 1 X x 7= （+k）b” g _ _八匕（一0 J （Xr -X）X冬X2 = 0*2岛 Lvx定理表明，目、b的晟小二乘估计N /；是无偏的，从，还知道它们又是线性 的，闵此所示的晟小二乘估计N %分别是扒b的线性无偏估计。COV（f/,/?） = 2 1- Q?（=i La n=-E匕（Xi

8、-X）2X（=12、 9.1.2建立回归方程后进一步的统计分析一、/的无偏估计由于/是误差頌=1,卫）的方差,如果能观测，自然想到用丄工皆来估 计Q然而岛是观测不到的，能观测的是儿由y =a + bxo - o）/f【I + 十 +， l 门】 心 一 2） （）对于给定的豐信水平1-a ,*自由度为n-2的T分布表可得满足P（卩I 一3（功， y（）+少）u（対,力） 0则可有 P y0l-a闵此控制问题一般是找满足的及的范围。但求解很麻烦。一种近似的处理法 是：由 y0 N（a + bx0,a2）将a, b, /分别用其无僞估计厶，产代，近似 a , Vn - Va近似有儿 NS + bX

9、oVjuNGoVj 从而亠21 N(0l)b入根据y%) = 1-Q查N分布表确走，于是的置信度19的预测区间可近似认为是仇-叫& 人+Q)要解决前述问题可以从満足: 仇一&，九+心&)U()D)的去寻找X0的控制范围。显然，当 2血&儿-力时，问题无解，否则方程组有解” =a + hx-ua（y y2 =a + bxl+uaa由此得x0的控制范围是(min(xf,xn),max(xxH)三、线性相关的检验前面的讨论都是在假定y与x呈现线性相关关系的前提下进行的，若这个 假定不成立，则我们建立的经验回归直线方程也失去意义，为此必须对y与x 之间的线性相关关系作检验，为解决这个问题，先作手：1、

10、偏差平方和分解记厶=乞一刁2,称它为总假差平方和，它反映数据的总波动，易得L有r-l如下分解式：厶=(兀一+罚一齐=(” 一讦+(氏._齐$+/-I /-I r-!其中Q =0(N 6)就是前面提到的残差平方和,(/=(yi.-7)2称为回归平方和，上 /-I式右边的交叉项：2(yf-y)=2f）： - （G + 必）6 + bxl 一 y=(儿 - y) 一沁厂劝/；(兀- x)=2/4(- jXa; - X)- /； 匕-疔/-I r-l= 2b(Lvv-/?Lxr) = 0由上可知，U越大，Qu就越小，x与y间线性关系就越显着；反之，x与y 之间的线性关系越不显着。于是，自然地考虑到检验

11、回归方程是否有显着意义 是考察C/Q的大小，其比值大，则L中U占的比重大，回归方程有显着意 义，反之，无显着意义。2、线性相关的F检验根据上段的思想来构造检验统计量，先看下面的定理。 定理当H“:b=O成立时U/o2*(1),且Q与U相互独立。2证：当H。成立时，由及知，/; N(0,)Lxx上厶 N(O.l)于是 $ =牛 Z2d)由定理，我们还知(”一2)；=殳*(“-2),且Q与久相互独立，从而Q b-与u=Plxv独立，由上面的定理及F分布的构造性定理知：u b2 L WF= = F(l -2)Q/n-2 b 闵此可选它作检验H亦b二()的检验统计量，当已为真时F的值不应太天，故对 选

12、定的水平0,由P(FnF*)F查F(l,n-2)分布表确定临界值Fg分位数，当观测数据代 入式算出的F值合FAF-时，不能接受H“认为建立的回归方程有显着意义。检验H。：经验公式无显着意义(oc二 选用 f = G：)Wf(1,22) 由 PFFa = a 表得 F= 现计算F值由厶二厶尸U = b2L = 0.8592 x 152.266 = 112.35Q二 L-U=闵尸斤，所以拒绝认为所得的经验回归方程有显着意义。四、相关与回归的区别与联系1、联系由前面的讨论，有：U _ b2LxxL Lyy得回归平方和U=fL残差平方和Q = Q(a,b) = Ul-r2)可见，反映了回归平方和在总僞

13、差平方和中占的比重，该比重越大，误差 平方和在总僞差平方和中占的份量就越小。通常称为拟合优度系数。r就是变 量x与y的积差相关系数，另方面由F =茫器=(；_2呼=(芈謬)2Q (1-厂)厶 71-r2看出，在检验y与x是否显着线性相关时，F检验法与相关系数T检验法 等效。2、区别相关关系不表明因果关系，是双向对称的，在相关分析中，对所讨论的两 个变量或多个变量是平等对待的，相关系数r反映数据&所描述的散点对直 线的靠拢程度。回归分析中，更量在研究中地位不同，要求闵变量（响应交量）y是随机更 量，自交量一般是可控制的普通变量（当然也可以是随机的）。在回归方程中，回 归系数只反映回归直线的陡度，

14、且它不是双向对称的。 9.13 一元非线性回归前面讨论的线性回归问题，是在回归模型为线性这一基本假定下给出的， 然而在实用中还经常碰到非线性回归的情形，这里我们只讨论可以化为线性回 归的非线性回归问题，仅通过对某些常见的可化为线性回归问题的讨论来阐明 解决这类问题的基本思想和方法。、曲线改直例1炼纲过程中用来盛钢水的钢包，由于受钢水的浸蚀作用，容积会不断 扩大。下表给出了使用次数和容积增天量的15对试验数据：使用次数（x）增大容积使用次数（xj增大容积（y）2931041131261371481516试求Y关于x的经验公式。解：首先要知道Y关于x的回归函数是什么类型，我们先作散点图。（见教 材

15、）从图上看，开始浸蚀速度较快，然后逐渐减缓，更化趋势呈双曲线状。闵此可选取双曲线：（设y与x之间具有如下双曲线关系）1 , 1=a + b y x作为回归函数的类型，即假设y与X满足：=a + b + y x令 =丄， ？7 =丄，则交成耳=a + Ee = 0、= b % y这是一种非线性回归，先由X、y的数据取倒数，可得耳，三的数据”,，对得到 的15对新数据，用晟小二乘法可得：线性回归方程77 = 0.1312 + 0.0823,代回原变量得0.0823x + 0.1312为y关于x的经验公式（回归方程）在例1中，假设了y与x之间满足双曲线回归模型，显然这是一种主观判 断，闵此所求得的回

16、归曲线不一定是晟佳的拟合曲线。在实用中，往往是选用不同的几种曲线进行拟合，然后分别计算相应的残墨平方和Q严（XT/或& （标准误差）进行比较Q（或&）晟小者为晟优拟合。二、常见可改直的曲线下面简介一些可通过变量替换化为线性回归的曲线回归漠型。1、 双曲线丄=0 +匕作交換）=丄,X = -则回归函数化为：r =a+bxy x y x2、 專函数y二ax1*（或y=axb） （b0）对專函數两边取对数Cny = Cna + 加，作 巫换 y = Cny, x = Cnx, a = Cna 则有 y = a bfxf3、 指数函数尸立扌或尸加心（b0）两边取对数 Cny = Cna bx 令 yf

17、 = lnya = Cna 有y = arbx丄 b4、 倒指数函数 y = ite x 或 y = （b0, a0）两边取对数后作巫換F = 6iv, x = -.a = Cna,x则有5、 对数函数,y=a+bCn x作巫換# =切卫则有y=a+bx.另外还有一些可化为线性回归的曲线回归，将在用“spss”作实习操作时一 并介绍。例1（续）由例1的散点图看出，除双曲线拟合外，本例还可选择倒指数拟 合：v=ac x两边取对数得：Cny = /? + Cnax令rf = ny、 了=丄，巫为如下的回归问题：x=A + 3 了+利用晟小二乘法求得：B=A =闵此回归直线为:= -1.1107+2

18、.4578代回原交量得：y = 11.6489e-,-,107,x经计算双曲线拟合时Q二 &2； -S血 xj(Vn； MaX加其中禺是自交量x,的第j个观测值，片是冈变量y的笫j个值，代入0得模型 的数据结构式：y = % + b內+ b2x2l +.+ bkxkl + s y2 o + bX】2 +blx22+.+bkxk2 + 2yn =虬+b皿 +b2x2 +.+ bkxk + en2.n独立同分布V（ 0, a）我们称或为k元正态线性回归模型，其中b0,bb及/都是未知待估的 参数，对k元线性模型，需讨论的问题与一元时相同。需要说明的几点见教材2、未知參数的估计与一元时一样，采用晟小

19、二乘法估计回归系数九加侃称使Q%，如）仝f 儿一（ +bxu+b2x2l+. + bk心）达到晟小的A为参数/-I（九,M 的最小二乘估计，利用微积分知识，晟小二乘估计就是如下方 程组的解：厶11 +厶2仇+厶厶=厶卜21勺 +?22“2 + +，2 山=Sy +厶2方2 +（$ =5% = y-blx + b2X2 +.+ bkXk_ 1 ”其中r針1丄 _ _厶v =-工（X” 一匕）,（X-y） （f = 12,R）通常称方程组为正规方程组，其中前k个方程的系数矩阵记为L* = Q片,当匸 可逆时，正规方程组有解，便可得bb“S的最小二乘估计賦AGJ即:=（“）T:八 八 _ _, %

20、= 一一加双、虽丿代入漠型，略去随机项得经验回归方程为：y = bQ +bx +.+ bkxk 类似一元可以证明6都是相应的b（i=（）, 1,，Q的无偏估计，且/的无偏估计为：A A A&2 _。（，勺，,bk）.n-k - 二、回归方程的显着性检验与一元的情形一样，上面的讨论是在y与X”，忑之间呈现线性相关 的前提下进行的，所求的经验方程是否有显着意义，还需对y与诸凡间是否存 在线性相关关系作显着性假设检验，与一元类似,对y = bQ+b+.+ bkxk是否 有显着意义，可通过检验H,;b!=b2=-=bi=（）为了找检验已的检验统计量，也需将总偏差平方和厶，作分解：l = （y,-?）2

21、 =S （y,- yt + yt-ytYr=l /=!=E（% 一曰）+（氏一亍）2三Q+”t f即 gu+Qe 其中 A=4,., u = x（yt-y） 2=工（幵一氏）t 1这里兀+几.分别称Q.D为残差平方和、回归平方和，可以 证明： u =叽+b2l2y +加灯=工仏许和）且以j.i利用柯赫伦定理可以证明：在成立下,Q相互独立，所以有（这里记Q为Q下同） 取F作儿的检验计量，对给定的水平a、萱Fgnkl）分布表可得满足 p（FFa） = a的临介值你，由样本观测值代入算出统计量F的观测值，若FA 伤，则不能接受认为所建的回归方程有显着意义。通过F检验得到回归方程有显着意义，只能说明y

22、与x八2,，忑之间 存在显着的线性相关关系，衡量经验回归方程与观测值之间拟合好坏的常用统 计量有复相关系数R及拟合优度系数仿一元线性回归的情况，定义：IR1= 匸 可以证明R就是观测值yb必与回归值的和彭，,yn的相关系数。实用中，为消除自由度的影响，又定义：-2= = Q/(n-k-)为修正的似合优度系数。三、偏回归平方和与因素主次的判别本段内容是多元回归与一元回归有本质差异的部分。前一节所作的检验b=b2= =4=0被拒绝，并不能说明所有的肖萸 量都对因交量y有显着影响,我们希望从回归方程中剔除那些可有可无的肖变 量，重新建立更为简单的线性回归方程，这就需要对每个自交量冯做显着性检 验。于

23、是考虑HO1:b,=0的检验方法。从原有的k个肖变量中剔除科，余下的k-1 个自交量对y的线性影响也可由相应的偏差平方和分解式中的回归平方和U(風 映出来,即L(j、=(卄+ Q(j)记+5)则U反映了交量兀在回归方程中对y的线性影响，常称它为科的偏回归平方 和，b1可以证明cji其中G是矩阵厶丄(SPxP的逆矩阵对角线上的笫j个元素，对于厲八b,=o. b1. /c.际溪选用统计量 F(l,n R 1)a Qe/n-k-对给定的水平Q,由= 布表确定临介值代，将观测值代入算出的好值与心比较，若FK 则拒绝已，认为兀对y的线性影响显 ,否则不显着，应剔除。但在实用中，多元回归中剔除变量的问題比上例我们做的讨论要复杂得 多，闵为有些巫量单个讨论时，对闵交量的作用很小，但它与某些自巫量联合 起来，共同对因变量的作用却很大，闵此在剔除变量时，还应考虑变量交互作 用对y的影响，对这一问题的深入讨论太花时间，有兴趣的同志可参见有关“多元统计分析”教材。此外，关于多元性回归的预测和控制问题，类似一元 不再赘述。