多元线性回归模型Word下载.doc

多元线性回归模型Word下载.doc

《多元线性回归模型Word下载.doc》由会员分享，可在线阅读，更多相关《多元线性回归模型Word下载.doc（20页珍藏版）》请在冰豆网上搜索。

（3-2）

称为多元总体线性回归方程，简称总体回归方程。

对于组观测值，其方程组形式为：

（3-3）

其矩阵形式为

=+

（3-4）

其中

为被解释变量的观测值向量；

为解释变量的观测值矩阵；

为总体回归参数向量；

为随机误差项向量。

总体回归方程表示为：

（3-5）

与一元线性回归分析一样，多元线性回归分析仍是根据观测样本估计模型中的各个参数，对估计参数及回归方程进行统计检验，从而利用回归模型进行经济预测和分析。

多元线性回归模型包含多个解释变量，多个解释变量同时对被解释变量发生作用，若要考察其中一个解释变量对的影响就必须假设其它解释变量保持不变来进行分析。

因此多元线性回归模型中的回归系数为偏回归系数，即反映了当模型中的其它变量不变时，其中一个解释变量对因变量的均值的影响。

由于参数都是未知的,可以利用样本观测值对它们进行估计。

若计算得到的参数估计值为，用参数估计值替代总体回归函数的未知参数，则得多元线性样本回归方程：

（3-6）

其中为参数估计值，为的样本回归值或样本拟合值、样本估计值。

其矩阵表达形式为:

（3-7）

其中为被解释变量样本观测值向量的阶拟合值列向量；

为解释变量的阶样本观测矩阵；

为未知参数向量的阶估计值列向量。

样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差。

（3-8）

二、多元线性回归模型的假定

与一元线性回归模型相同，多元线性回归模型利用普通最小二乘法（OLS）对参数进行估计时，有如下假定：

假定1零均值假定：

，即

（3-9）

假定2同方差假定（的方差为同一常数）：

假定3无自相关性：

（3-10）

假定4随机误差项与解释变量不相关（这个假定自动成立）：

假定5随机误差项服从均值为零，方差为的正态分布：

假定6解释变量之间不存在多重共线性：

即各解释变量的样本观测值之间线性无关，解释变量的样本观测值矩阵的秩为参数个数k+1，从而保证参数的估计值唯一。

第二节多元线性回归模型的参数估计及统计性质

一、多元线性回归模型的参数估计

（一）回归参数的最小二乘估计

对于含有个解释变量的多元线性回归模型

设分别作为参数的估计量，得样本回归方程为：

观测值与回归值的残差为：

由最小二乘法可知应使全部观测值与回归值的残差的平方和最小，即使

（3-11）

取得最小值。

根据多元函数的极值原理，分别对求一阶偏导，并令其等于零，即

（3-12）

化简得下列方程组

（3-13）

上述个方程称为正规方程，其矩阵形式为

（3-14）

因为

设为估计值向量

样本回归模型两边同乘样本观测值矩阵的转置矩阵，则有

得正规方程组：

（3-15）

由假定（6），，为阶方阵，所以满秩，的逆矩阵存在。

因而

（3-16）

则为向量的OLS估计量。

以二元线性回归模型为例，导出二元线性回归模型的OLS估计量的表达式。

由（3-3）式得二元线性回归模型为

为了计算的方便，先将模型中心化。

设，则二元回归模型改写为中心化模型。

（3-17）

记

（3-18）

将代入得

（3-19）

（3-20）

则

由（3-16）式得

（3-21）

由（3-21）式可知

得

（3-22）

（3-23）

（3-24）

（二）随机误差项的方差的估计量

样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差

设，可以得出是阶对称幂等矩阵，，。

于是

而残差的平方和为

其中“”表示矩阵的迹，即矩阵主对角线元素的和。

随机误差项的方差的无偏估计量，记作，即，，为残差的标准差（或回归标准差）。

因此

（3-25）

（3-26）

例如,对于二元线性回归模型（）

（3-27）

（3-28）

二、估计参数的统计性质

1、线性性

指最小二乘估计量是被解释变量的观测值的线性函数。

由于

设，则矩阵为一非随机的阶常数矩阵。

所以

（3-29）

显然最小二乘估计量是被解释变量的观测值的线性函数。

2、无偏性

将代入（3-16）式得

（3-30）

所以是的无偏估计量。

3.最小方差性

设为阶数值矩阵，为阶随机矩阵（随机变量为元素的矩阵），为阶数值矩阵，则

下面我们推导的方差、协方差矩阵。

定义：

由（3-30）式得

（3-31）

这个矩阵主对角线上的元素表示的方差，非主对角线上的元素表示的协方差。

例如是位于的第行与第列交叉处的元素（主对角线上的元素）；

是位于的第行与第列交叉处的元素（非主对角线上的元素）

在应用上，我们关心的的方差，而忽略协方差，因此把（3-31）式记作

（3-32）

记，则，所以是的最小方差线性无偏估计。

这说明，在（3-1）式系数的无偏估计量中，OLS估计量的方差比用其它估计方法所得的无偏估计量的方差都要小，这正是OLS的优越性所在。

用代替则得的标准估计量的估计值，乃称为标准差。

（3-33）

对于二元回归模型（），求估计量的方差，由（3-32）式得

（3-34）

（3-35）

（3-36）

（3-37）

第三节显著性检验

一、拟合优度检验

（一）总离差平方和分解

设具有个解释变量的回归模型为

其回归方程为

离差分解：

总离差平方和分解式为：