应用回归分析.docx

应用回归分析.docx

《应用回归分析.docx》由会员分享，可在线阅读，更多相关《应用回归分析.docx（22页珍藏版）》请在冰豆网上搜索。

应用回归分析

一元线性回归模型有哪些基本假定

答：

1.解释变量為，勺，…心，是非随机变量，观测值柿Up是常数。

2.等方差及不相关的假定条件为

上（勺）=0,i=12…,〃

cov（弓吗）=（（iJ=12…）

0"j

这个条件称为高斯-马尔柯夫（Gauss-Markov）条件，简称G-M条件。

在此条件下，便可以得到关于回归系数的最小二乘估计及误差项方差，估计的一些重要性质，如回归系数的最小二乘估计是回归系数的最小方差线性无偏估计等。

3.正态分布的假定条件为

£~N（0,tr‘），/=1,2,--,z?

£,2,…,％相互独立

在此条件下便可得到关于回归系数的最小二乘估计及/估计的进一步结果，如它们分别是回归系数的最及，的最小方差无偏估计等，并且可以作回归的显著性检验及区间估计。

4.通常为了便于数学上的处理，还要求n>/A及样本容量的个数要多于解释变量的个数。

在整个回归分析中，线性回归的统计模型最为重要。

一方面是因为线性回归的应用最广泛；另一方面是只有在回归模型为线性的假设下，才能的到比较深入和一般的结果；再就是有许多非线性的回归模型可以通过适当的转化变为线性回归问题进行处理。

因此，线性回归模型的理论和应用是本书研究的重点。

1.如何根据样本（兀］，兀2,…'®X）（j=l'2,…，"）求出卩Q、0\、卩“…、卩P及方差夕的估计；

2.对回归方程及回归系数的种种假设进行检验；

3.如何根据回归方程进行预测和控制，以及如何进行实际问题的结构分析。

考虑过原点的线性回归模型

y（=0內+令,z=i,2,••,/!

误差岂宀,…坷仍满足基本假定。

求A的最小二乘估计。

答：

Q5）=土5-E（诉=土®一阳丫

警=-2工（%一A召）召=-2工兀儿+20]

CP\r-1r-1/-I

解得Bl—，即总的最小二乘估计为P严T—・工斤Ev

f=l1-1

证明：

Q（0。

，0'）=E（X-0o-0i兀）2

AA

因为Q（几，0】）二minQ卩'）

而Q（0o,0!

）非负且在尺‘上可导，当Q取得最小值时，有。

?

■=（）鑿=0

直bA》BPQ001

即-2E（X-A-AX）=o-2E（X-A-AXi）X=o

AAA

乂・.・匕二必—（0。

+01兀）二X-A-Ax；・・・£&二0,£匕•兀=o

（即残差的期望为0,残差以变量X的加权平均值为零）

解：

参数B0,B1的最小二乘估计与最大似然估计在£厂N（0,2）i=l,2,……

n的条件下等价。

证明:

因为£~N（0Q2），i=l,2，•…n

所以X=0°+0X+&~m0°+0X&）

其最大似然函数为

D仇,八,/）=口二/,（岭）=（2^2严exp{-占£［岭-（仇+0心,址）］2}2b/.I

51（0。

0|&）}=：

_£111（2柯2）_丄_£［乙-（0。

+久0。

/）］2

22b/.I

已知使得Ln（L）最大的久，总就是0°,0』勺最大似然估计值。

O=Z）2=f（K-（九+处』2

即使得下式最小：

I|①

因为①恰好就是最小二乘估计的目标函数相同。

*>

所以，在£~N（0q）"T,2，•…«的条件下,参数00,P1的最小二

乘估计与最大似然估计等价。

.证明加是0。

的无偏估计。

证明：

若要证明00是0。

的无偏估计，则只需证明E（仇）二几。

B\=L"./Lxx

＜

因为氏,B的最小二乘估计为=其中

厶.、•=X（兀一无）（必一亍）=》s-曲y=X兀＞\-+工无工y,.5=工（兀一对=2＞「一用=2＞「-十（》兀）'

1ji

lpp/1_兀_兀、

n-A-_》另_兀乞—X力（__兀—）X

E（0o）二E（〉'—0iX）二E（"日日L-vx）=E[f=111Lxx]

n1V—V

工（—7^-）（A）+0內+殆二E[i〃LXX]

）0（）工（丄一壬十）0內E（丄7”）勺

）+E（mnLxx）+E（口ns）

XX

XX

匕，1_旺_戈

2?

__牙一

二E（/=,”-xx

其中

吕“1_兀一无、cC乙/1_册一元、c（1FG,_、

工（天）000（）》（元）0°（川__厂工（兀_%））

\vx

.XX

rxx

XX

XX

工（儿-可

由于j二0，所以

二仇

"1Y—XnXX—XX

工（丄-戈—）0內0送（土一元一兀・）0Q一产工（石一阿）＜=1n厶YX=/=1，J^XX=^XX»-1

儿=0（）+0內+£

乂因为一元线性回归模型为

[各斫独立同分布，其分布、丿、n2）所以E（®）二o所以

E（丄-元于）几乞（丄-壬于）0內£（丄_元于）弓

E（注I〃Lxx）+E（/=|nLxx）+E（,=111・

卯一3）码）

二E（0°）+E（O）+台、Lxx'

rxx

所以几是仇的无偏估计。

-1"A_A

解：

因为r/①,p=y-p^

n1一丫—x0=工（丄-企—）y联立®®③式，得到°冋"J

②,

“V—X

卩'玄亍y

/=1厶.Y

_111—Y-—X

巾只肉）=如f（丄^）北］=乞［（匚-兀一）］畑（X）

冋"厶I'i=l*Lxx

=£丄+&巫込）-2匚竽］/

闫比LxxnL-

因为"W厂Q驴亠°,所以

如0戶站+（0啟旦+27罕&

nLxx

（J

1,（Q

一

n£（无厂X）

/=1/

•>

a

证明平方和分牌•公式：

SS=SSE+SSR

证明：

sst=XU-y）2=£[（>;•-氏）+（yi-?

）12

f-1/-I

=一y）2+2乞b一yfXz-y）+X（z一z））2/-]J-1/-I

=f仇一y）2+-记））2=SSR+SSE

1-11-1

验证三种检验的关系，即验证:

（2）

SSR/lLxJ,2~SSE/（n-2）~a2

SSRL和人=—证明:

（1）因为Pai2,所以

（J

2SSR,2SST—SSRSSE

乂因为SST,所以SSTSST

yl（n-2）r

t=—i

故得证。

（2）

ssr=±（x-y）2=E（A+=3一无）-刃2=乞（4（兀一x））2=p；lxx

r-lr-1/-I/-I

.F_SSR/\_P^LXX_.

…SSERn—A

验证（）式：

AAA

证明：

var（^.）=var（y.-y.）=var（y.）+var（y.）-2cov（y“y.）

=var（y；）+var（0o+0n）-2cov（y』+0i（x"））

注：

各个因变量y^y2……丿幵是独立的随机变量

var（X+y）=var（X）+var（K）+2cov（X,Y）

2

P

注：

var（X）=E（X?

+[E（x）]

验证'F+n-2

（〃一2）

证明:

口SSR

r=:

SSE/

加-2）

2_SSR_SSR_1_1F

r=^ST=SSR+SSE=l+（55%sj==F+n-2

以上表达式说明r2与F等价,但我们要分别引入这两个统计量，而不是只引入其中一个。

理由如下：

1工2与F,n都有关，且当n较小时，r较大，尤其当n趋向于2时,|r|趋向于1,说明x与y的相关程度很高；但当n趋向于2或等于2时，可能回归方程并不能通过F的显著性检验，即可能x与y都不存在显著的线性关系。

所以,仅凭r较大并不能断定x与y之间有密切的相关关系，只有肖样本量n较大时才可以用样本相关系数r判定两变量间的相关程度的强弱。

2F检验检验是否存在显著的线性关系，相关系数的

显著性检验是判断回归直线与回归模型拟合的优劣，只有二者结合起来，才可以更好的回归结果的好坏。

八A

如果把自变量观测值都乘以2,回归参数的最小二乘法佔汁几和几会发生什么

A入

变化如果把自变量观测值都加上2,回归参数的最小二乘估计"。

和*会发生什么变化

解：

解法

（一）：

我们知道当y产几+0內+E,E（yJ=0o+ZV时，用最小二乘法估

K=y-xA

士儒-初5-刃

2-1

1«1«八八

rp七労+朋心+稱

③

将②③带入①得到

A-y-xA

左（兀-初①-刃

2-1

⑵当兀"=2+兀时

乞国-巧屏-力

升

恥”-希

将②③带入①得到・

1«1«

F二-元丹一£（2十亟）=2十〒”X”-③

1ft1»

/=-Zzff=-Zte+24）=7+2A

«i-1«i-l

恳=予一玄k

*-现-刃_沁

E（吗-劳

解法（二人

当y产几+0內+匂,e（x）=0o+0“时，有

Q（0O，（X-E（X））'=£（”一0（）—0內）‘

i-I7-1

当x\=2Xj时

y；=00+20迟+®=”+0\X、E（y；）=00+20代

Q（0o,（y；-E（y：

）r=£（x+A齐一0o-20i為）2=£（开一00-0內）2

i・li-lI-）

、打斗=旺+2,）/=0o+/V;+20]+刁=牙+20|,E（y：

）=0o+0込+20|

。

（几，0J"=£（彳—E（y：

））2=£（升+20,—0。

—0,兀—20$=f（”—几—朋）2

i-1r-1|{|

最小二乘法可知，离差平方和QB。

’0J=0（0o,A）'=Q（0。

，0J"时，其估计值应fA=

当有4=样=洋.

八入

即回归参数的最小二乘估计炕和01在自变量观测值变化时不会变。

如果回归方程9=几+Ax相应的相关系数r很大，则用它预测时，预测误差一定较小。

这一结论能成立吗对你的回答说明理由。

解：

这一结论不成立。

因为相关系数r表示x与歹线性关系的密切程度，而它接近1的程度与数据组数有关。

n越小，r越接近1。

n二2时，|r|=l。

因此仅凭相关系数说明X与y有密切关系是不正确的。

只有在样本量较大时，用相关系数r判定两变量之间的相关程度才可以信服，这样预测的误差才会较小。

解：

（1）散点图为：

（2）x与y大致在一条直线上，所以x与y大致呈线性关系。

（3）得到计算表：

X

Y

（X^xr

（ys-F）2

（m7）

A岭

（y,-y）2

dr

1

10

4

100

20

6

（-14）2

（-4）2

2

10

1

100

10

13

（-7）2

（3）2

3

20

0

0

0

20

0

0

4

20

1

0

0

27

72

72

5

40

4

400

40

34

142

（-6）2

和

15

100

和

Lxx=10

Lyy=60

0

和Lxy=70

和

100

SSR二490

SSE二110

均3

均

20

均20