多元线性回归与最小二乘估计Word文档格式.doc
《多元线性回归与最小二乘估计Word文档格式.doc》由会员分享，可在线阅读，更多相关《多元线性回归与最小二乘估计Word文档格式.doc（22页珍藏版）》请在冰豆网上搜索。
Y=Xβ+u,（1.4）
为保证得到最优估计量，回归模型（1.4）应满足如下假定条件。
假定⑴随机误差项ut是非自相关的，每一误差项都满足均值为零，方差s2相同且为有限值，即
E（u）=0=,Var（u）=E（'
）=σ2I=σ2.
假定⑵解释变量与误差项相互独立，即
E（X'
u）=0.
假定⑶解释变量之间线性无关。
rk（X'
X）=rk（X）=k.
其中rk（×
）表示矩阵的秩。
假定⑷解释变量是非随机的，且当T→∞时
T–1X'
X→Q.
其中Q是一个有限值的非退化矩阵。
最小二乘（OLS）法的原理是求残差（误差项的估计值）平方和最小。
代数上是求极值问题。
minS=（Y-X）'
（Y-X）=Y'
Y-'
X'
Y-Y'
X+'
X
=Y'
Y-2'
Y+'
X.（1.5）
因为Y'
X是一个标量，所以有Y'
X='
Y。
（1.5）的一阶条件为：
=-2X'
Y+2X'
X=0（1.6）
化简得
Y=X'
因为（X'
X）是一个非退化矩阵（见假定⑶），所以有
=（X'
X）-1X'
Y（1.7）
因为（1.5）的二阶条件
=2X'
X³
0（1.8）
得到满足，所以（1.7）是（1.5）的解。
因为X的元素是非随机的，（X'
X）-1X是一个常数矩阵，则是Y的线性组合，为线性估计量。
求出，估计的回归模型写为
Y=X+（1.9）
其中=（…）'
是β的估计值列向量，=（Y-X）称为残差列向量。
因为
=Y-X=Y-X（X'
X）-1X'
Y=[I-X（X'
]Y（1.10）
所以也是Y的线性组合。
的期望和方差是
E（）=E[（X'
Y]=E[（X'
（Xβ+u）]
=β+（X'
E（u）=β（1.11）
Var（）=E[（–β）（–β）'
]=E[（X'
uu'
X（X'
X）-1]
=E[（X'
s2IX（X'
X）-1]=σ2（X'
X）-1.（1.12）
高斯—马尔可夫定理：
若前述假定条件成立，OLS估计量是最佳线性无偏估计量。
具有无偏性。
具有最小方差特性。
具有一致性，渐近无偏性和渐近有效性。
2.残差的方差
s2='
/（T-k）（1.13）
s2是σ2的无偏估计量，E（s2）=σ2。
的估计的方差协方差矩阵是
（）=s2（X'
X）-1（1.14）
3.多重确定系数（多重可决系数）
Y=X+=+（1.15）
总平方和
SST==Y'
Y-T,（1.16）
其中是yt的样本平均数，定义为=。
回归平方和为
SSR=='
-T（1.17）
其中的定义同上。
残差平方和为
SSE==='
（1.18）
则有如下关系存在，
SST=SSR+SSE（1.19）
R2=（1.20）
显然有0<
R2<
1。
R2¿
1，拟合优度越好。
4.调整的多重确定系数
当解释变量的个数增加时，通常R2不下降，而是上升。
为调整因自由度减小带来的损失，又定义调整的多重确定系数如下：
=1-=1-（1.21）
5.OLS估计量的分布
若u~N（0,σ2I），则每个ut都服从正态分布。
于是有
Y~N（Xβ,σ2I）（1.22）
因也是u的线性组合（见公式1.7），依据（1.11）和（1.12）有
~N（β,σ2（X'
X）-1）（1.23）
6.方差分析与F检验
与SST相对应，自由度T-1也被分解为两部分，
（T-1）=（k-1）+（T-k）（1.24）
回归均方定义为MSR=，误差均方定义为MSE=
表1.1方差分析表
方差来源
平方和
自由度
均方
回归
SSR='
-T2
k-1
MSR=SSR/（k-1）
误差
SSE='
T-k
MSE=SSE/（T-k）
总和
SST=Y'
Y-T2
T-1
H0:
β1=β2=…=βk-1=0;
H1:
βj不全为零
F==~F（k-1,T-k）（1.25）
设检验水平为a，则检验规则是，若F<
Fα（k-1,T-k），接受H0；
若F>
Fa（k-1,T-k）,拒绝H0。
0Fa（k-1,T-k）-ta（T-k）0ta（T-k）
F检验示意图t检验示意图
7．t检验
H0：
βj=0,（j=1,2,…,k-1）,H1：
bj¹
0
t=~t（T-k）（1.26）
判别规则：
若½
t½
£
ta（T-k）接受H0；
>
ta（T-k）拒绝H0。
8．βi的置信区间
（1）全部bi的联合置信区间接受
F=（β-）'
（X'
X）（β-）/s2~Fa（k,T-k）（1.27）
（β-）'
X）（β-）<
s2kFa（k,T-k），它是一个k维椭球。
（1.28）
（2）单个βi的置信区间
βi=±
sta/2（T-k）.（1.29）
9．预测
（1）点预测
C=（1xT+11xT+12…xT+1k-1）（1.30）
则T+1期被解释变量yT+1的点预测式是，
=C=0+1xT+11+…+k-1xT+1k-1（1.31）
（2）E（yT+1）的置信区间预测
首先求点预测式C的抽样分布
E（）=E（C）=Cb（1.32）
Var（）=Var（C）=E[（C-Cb）（C-
升级会员 