计量经济学【一元线性回归模型——参数估计】.pptx

1、计量经济学,单方程计量经济学模型理论与方法,第二章 经典单方程计量经济学模型：一元线性回归模型,第一节 回归分析概述第二节 一元线性回归模型的参数估计第三节 一元线性回归模型的统计检验第四节 一元线性回归模型的预测,第二节：一元线性回归模型的参数估计,一、一元线性回归模型的基本假设二、参数的普通最小二乘估计（OLS）三、最小二乘估计量的性质 四、参数估计量的概率分布及随机误差项方差的估计,给出一元线性回归模型的一般形式：其中：被解释变量，：解释变量，和：待估参数；：随机误差项；总体回归函数形式：样本回归函数形式：其中 是 的估计值，我们需要找到一种参数估计方法，求出，并且这种参数估计方法保证了

2、估计值 与总体真值 尽可能地接近；这种参数估计方法就是普通最小二乘法 OLS。,一、一元线性回归模型的基本假设,为保证参数估计量具有良好的性质，通常对模型提出若干基本假设，这些假设与所采用的估计方法紧密相关。假设 1：解释变量 是确定性变量，不是随机变量；假设 2：随机误差项具有 0 均值和同方差，即假设3：随机误差项在不同样本点之间是独立的，不存在序列相关，即：,一、一元线性回归模型的基本假设,假设 4：随机误差项与解释变量之间不相关，即：假设 5：随机误差项服从 0 均值，同方差的正态分布，即,以上这些假设称为线性回归模型的经典假设，满足这些假设的线性回归模型，也称为经典线性回归模型（cl

3、assical linear regression model）。在回归分析的参数估计和统计检验理论中，许多结论都是以这些假定作为基础的。如果违背其中的某一项假定，模型的参数估计就会存在问题，也就是说最小二乘法（OLS）就不再适用，需对模型进行修正或采用其他的方法来估计模型了。,二、参数的普通最小二乘估计（OLS）,普通最小二乘法(Ordinary Least Squares，OLS)回归分析的目的：根据样本回归函数 来估计替代未知的总体回归函数，就要保证样本回归函数尽可能地“接近”总体回归函数。在已知总体的一组样本观测值 的情况下，为了保证样本回归函数 尽可能地“接近”总体回归函数，就是要样

4、本回归线上的点 与真实观测点 在总体上尽量接近；这也就是说要求样本回归函数 的估计值 与真实观测值 之间的误差 在总体上尽量小。,每月家庭收入与消费支出散点图（样本）,二、参数的普通最小二乘估计（OLS）,要求真实观测值 与样本回归函数的估计值 之间的误差，也就是残差 在总体上最小，即采用残差平方和 最小的准则，也就是最小二乘准则：根据微积分中求极值的原理，要使 达到最小，待定系数 应满足：,二、参数的普通最小二乘估计（OLS）,即：从而得到如下方程组：以上方程组称为最小二乘的正规方程组(normal equations),二、参数的普通最小二乘估计（OLS）,解这个正规方程组得：其中 分别代

5、表 和 两个变量的样本均值。上式就称为线性回归模型参数 的最小二乘估计量（ordinary least squares estimators）；将样本数据代入这两个公式，就可以计算出 的具体数值，它们一定是使残差平方和 取最小值的参数估计值（最小二乘估计值）。,二、参数的普通最小二乘估计（OLS）,由此可得到拟合最优的样本回归直线（样本回归函数）：由残差 可得样本回归模型为：将总体回归模型 与上式比较，是 的估计值，残差 可看作随机误差项 的估计值。,二、参数的普通最小二乘估计（OLS）,例2.3：在上述例 2.1 中家庭可支配收入 影响家庭消费支出 的问题中，对于所抽出的一组样本数据如表 2

6、.2 所示：可将表中的这组样本数据代入到下面公式：进行参数估计计算，具体计算过程见下表(表2.4)：,表2.4 家庭可支配收入 和消费支出 的样本数据资料 及参数估计的计算表(单位:元),例2.3根据表2.4中的计算结果，首先可计算出：再利用 计算出：由该样本估计的回归方程（即样本回归函数）为：这是对 X 和 Y 进行线性回归分析得到的初步结果。,Eviews软件画出的收入 X 和支出 Y样本数据的散点图,Eviews软件输出的回归结果,Eviews软件输出的被解释变量 的实际值、拟合值 和回归残差 的序列图,三、最小二乘估计量的性质,当采用最小二乘法将模型的参数估计出来以后，需考虑参数估计值

7、的精度问题；所谓精度问题就是这个参数估计值是否能代表总体参数的真值。这就需要考察一下参数估计量的统计性质。参数估计量是随机变量，其统计性质主要包括线性性、无偏性和最小方差性，也就是其均值和方差等方面的性质。事实可以证明：在模型满足那几条基本假定的前提下，最小二乘估计量的性质是非常理想的，它是具有最小方差的线性无偏估计量（best linear unbiased estimator，BLUE）。我们就要证明一下最小二乘估计量的线性性、无偏性和最小方差性（有效性）。,三、最小二乘估计量的性质,（1）最小二乘估计量的线性性：是指参数估计量 和 可以分别表示为被解释变量观测值 的线性组合（线性函数）；

8、证明如下：其中：对于引进的 容易证明有如下的特性：；,（1）最小二乘估计量的线性性,证明；因为：证明；首先：然后：这里：,（1）最小二乘估计量的线性性,证明；因为：可得到：再回到前面得到的且已证明；则上式等于：即：；由此可见 是 的线性函数(组合)。,（1）最小二乘估计量的线性性,的线性性得到证明以后，同样的道理，的线性性证明如下：其中：即：，由此可见 也是 的线性函数（组合）。,（1）最小二乘估计量的线性性,经过证明我们已经得到：；由于，由解释变量 决定的，取值是确定性的，所以 相当于是一组常数，因此我们说 是 的线性函数。同样道理，由于，其中样本数，均值 和 都是确定性的，所以 也相当于是

9、一组常数，因此我们说 也是 的线性函数。,三、最小二乘估计量的性质,（2）最小二乘估计量的无偏性：是指参数估计量 和 的均值（期望值）分别等于总体回归参数的真值 和；即：；证明如下：由线性性得：即；同样的道理，由线性性得：同样，对于引进的 容易证明有如下的特性：,（2）最小二乘估计量的无偏性,即：；证明：由，则：；另：；再回到前面得到的：即：,（2）最小二乘估计量的无偏性,这样就有：；分别对 和 求均值（期望值），得到：由基本假定 2 知，所以 得证；同理可得：即 得证；因此 和 分别是 和 的无偏估计量。,三、最小二乘估计量的性质,（3）最小二乘估计量的最小方差性（有效性）：是指在所有的线性

10、无偏估计量中，最小二乘估计量 和 具有最小方差，最小方差性又叫“有效性”；也就是说，如果 和 是其他参数估计方法得到的总体真值的线性无偏估计量，则有 和 成立。要证明上面两式成立，须分两步证明；首先求最小二乘估计量 和 的方差：由 的线性性，即 求得其方差为：由基本假定 2 知，所以上式成立,（3）最小二乘估计量的最小方差性（有效性）：,即：同理，由 的线性性，即，求得其方差为：这里有：；那么：,（3）最小二乘估计量的最小方差性（有效性）：,即：要求记住这两个重要结论：；下面推证最小方差性：这里我们只证明；关于 的 证明与前式类似；假设 是其他参数估计方法求出来的总体真值的线性无偏估计量，即

11、是 的另一个线性无偏估计量,其中系数，且；,（3）最小二乘估计量的最小方差性（有效性）：,由 的无偏性可得：要使无偏性成立，必须满足：和而且还有：所以：,（3）最小二乘估计量的最小方差性（有效性）：,即：即：得证，的最小方差性得证；而且只有当 时，等式才成立。同理可证：即 的最小方差性也得证。,三、最小二乘估计量的性质,我们证明了最小二乘估计量 和 具有三个性质：线性性、无偏性和最小方差性。在满足经典线性回归模型基本假定的前提下，最小二乘估计量具有线性性、无偏性和最小方差性这样的优良性质，即最小二乘估计量 和 是参数真值 和 的最佳线性无偏估计量（best linear unbiased es

12、timator，BLUE），这一结论就是著名的高斯马尔可夫定理(Gauss-Markov theorem)。,四、参数估计量的概率分布及随机误差项方差的估计,（1）参数估计量 和 的概率分布最小二乘估计量 和 均是被解释变量 的线性组合，因此 和 就与 有相同类型的概率分布。在基本假定的条件下，是正态分布，也是正态分布:;(注释:由于,则）和 与 有相同类型的概率分布，因此 和 也服从正态分布，所以 和 的分布可以表示为：,（1）参数估计量 和 的概率分布,即：于是，和 的标准差分别为：,（2）随机误差项 的方差 的估计,在参数估计量 和 的方差的表达式中，都含有随机误差项 的方差；是总体方差

13、，由于 实际上是未知的，因此 和 的方差实际上无法计算，这就需要对 进行估计；随机误差项 不可观测，但残差 是 的估计值，因此可以用 的方差作为随机误差项 的方差 的估计值（估计量）。可以证明，总体方差 的无偏估计量 为：即：,（2）随机误差项 的方差 的估计,为了计算方便 起见，也可以采用如下计算形式：随机误差项方差的估计量 的平方根称为回归方程的估计标准误差，记为，即：估计标准误差 是用来反映被解释变量的实际观测值 与估计值 的平均偏离程度的指标；越小，则回归直线精度越高，代表性越好；当 时，表示所有的样本点都落在回归直线上，解释变量与被解释变量之间表现为函数关系。,（2）随机误差项 的方差 的估计,用无偏估计量 去代替，可计算参数估计量 和 的标准差（方差）：的样本标准差：的样本标准差：,第二节一元线性回归模型参数估计的要求,掌握线性回归模型的几条基本假设；理解最小二乘原理；掌握一元线性回归模型参数的最小二乘估计量，掌握最小二乘估计量的统计性质（线性性、无偏性和最小方差性）；了解参数估计量的概率分布，了解随机误差项方差的估计；熟悉Eviews软件的数据输入等基本操作和最小二乘估计。,