计量经济学第二篇一元线性回归模型.docx

计量经济学第二篇一元线性回归模型.docx

《计量经济学第二篇一元线性回归模型.docx》由会员分享，可在线阅读，更多相关《计量经济学第二篇一元线性回归模型.docx（29页珍藏版）》请在冰豆网上搜索。

计量经济学第二篇一元线性回归模型

第二章一元线性回归模型

2.1一元线性回归模型的基本假定

有一元线性回归模型（统计模型）如下，

yt=β0+β1xt+ut

上式表示变量yt和xt之间的真实关系。

其中yt称被解释变量（因变量），xt称解释变量（自变量），ut称随机误差项，β0称常数项，β1称回归系数（通常未知）。

上模型可以分为两部分。

（1）回归函数部分，E（yt）=β0+β1xt,

（2）随机部分，ut。

图2.1真实的回归直线

这种模型可以赋予各种实际意义，居民收入与支出的关系；商品价格与供给量的关系；企业产量与库存的关系；身高与体重的关系等。

以收入与支出的关系为例。

假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。

但实际上数据来自各个家庭，来自同一收入水平的家庭，受其他条件的影响，如家庭子女的多少、消费习惯等等，其出也不尽相同。

所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。

“线性”一词在这里有两重含义。

它一方面指被解释变量Y与解释变量X之间为线性关系，即

另一方面也指被解释变量与参数、之间的线性关系，即。

，0，，

2.1.2随机误差项的性质

随机误差项ut中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。

所以在经济问题上“控制其他因素不变”是不可能的。

随机误差项ut正是计量模型与其它模型的区别所在，也是其优势所在，今后咱们的很多内容，都是围绕随机误差项ut进行了。

回归模型的随机误差项中一般包括如下几项内容：

（1）非重要解释变量的省略，

（2）数学模型形式欠妥，

（3）测量误差等，

（4）随机误差（自然灾害、经济危机、人的偶然行为等）。

2.1.3一元线性回归模型的基本假定

通常线性回归函数E（yt）=β0+β1xt是观察不到的，利用样本得到的只是对E（yt）=β0+β1xt的估计，即对β0和β1的估计。

在对回归函数进行估计之前应该对随机误差项ut做出如下假定。

1、零均值：

随机误差项的的期望为零

E（ut）=0，yt=β0+β1xt+ut的期望值E（yt）=β0+β1xt正是由E（ut）=0推出的

2、同方差：

随机误差项的方差与t无差。

D（ut）=E[ut-E（ut）]2=E（ut）2=σ2

不难推出：

3、无自相关：

即不同的误差项相互独立。

Cov（ui,uj）=E[（ui-E（ui））（uj-E（uj））]=E（ui,uj）=0,（i≠j）。

含义是不同观测值所对应的随机项相互独立。

称为ui的非自相关性。

不难推出：

4、解释变量与随机误差项不相关

Cov（ui,xi）=E[（ui-E（ui））（xi-E（xi））]=E[ui（xi-E（xi）]=E[uixi-uiE（xi）]=E（uixi）=0。

ui与xi相互独立。

否则，分不清是谁对yt的贡献。

5、正态假定。

即误差项服从均值为零，方差为σ2的正态分布。

ut~N（0,σ2）

不难推出，yt~N（β0+β1xt,σ2）。

以上这些对随机误差项的假设是德国数学家高斯最早提出的，也称高斯假设或古典假设。

满足以上古典假设的线性回归模型，也称古典线性回归模型。

回归模型存在两个特点。

（1）建立在某些假定条件不变前提下抽象出来的回归函数不能百分之百地再现所研究的经济过程。

（2）也正是由于这些假定与抽象，才使我们能够透过复杂的经济现象，深刻认识到该经济过程的本质。

2.2一元线性回归模型的参数估计

对于所研究的经济问题，通常真实的回归直线是观测不到的。

收集样本的目的就是要对这条真实的回归直线做出估计。

怎样估计这条直线呢？

显然综合起来看，这条直线处于样本数据的中心位置最合理。

怎样用数学语言描述“处于样本数据的中心位置”？

设估计的直线用

=+xt

表示。

其中称yt的拟合值（fittedvalue），和分别是β0和β1的估计量。

观测值到这条直线的纵向距离用表示，称为残差。

yt=+=+xt+

称为估计的模型。

假定样本容量为T。

（1）用“残差和最小”确定直线位置是一个途径。

但很快发现计算“残差和”存在相互抵消的问题。

（2）用“残差绝对值和最小”确定直线位置也是一个途径。

但绝对值的计算比较麻烦。

（3）最小二乘法的原则是以“残差平方和最小”确定直线位置。

用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。

（这种方法对异常值非常敏感）设残差平方和用Q表示，

Q===，

则通过Q最小确定这条直线，即确定和的估计值。

以和为变量，把Q看作是和的函数，这是一个求极值的问题。

求Q对和的偏导数并令其为零，得正规方程，

=2（-1）=0

（1）

=2（-xt）=0

（2）

解这个方程组得：

=、=

下面用代数和矩阵两种形式推导计算结果。

首先用代数形式推导。

由

（1）、

（2）式得，

=0（3）

xt=0（4）

（3）式两侧用T除，并整理得，

=（5）

把上式代入（4）式并整理，得，

xt=0（6）

=0（7）

=（8）

因为=0，=0，分别在（8）式的分子和分母上减和得，

=（9）

=（10）

下面用矩阵形式推导

T+（）=

+（）=

=

==

这种形式在单位根检验的理论分析中非常有用。

例2.1（P35）略

（1）线性特性

这里指和分别是yt的线性函数。

===

令kt=，代入上式得=∑ktyt

容易证明：

;;

可见是yt的线性函数，是β1的线性估计量。

同理β0也具有线性特性：

（2）无偏性

利用上式

E（）=E（∑ktyt）=E[∑kt（β0+β1xt+ut）]=E（β0∑kt+β1∑ktxt+∑ktut）

=β1+E（∑ktut）=β1+∑ktEut=β1

（3）有效性

β0,β1的OLS估计量的方差比其他估计量的方差小。

为了说明最小方差性，先导出和的方差公式。

且与y相互独立。

同样，我们可以推出：

假设是β1的另一个线性无偏估计值，ct≠kt，

比较两边可得：

、

而且有：

=

同理可证：

Gauss-Markov定理：

若ut满足E（ut）=0，D（ut）=σ2，那么用OLS法得到的估计量就具有最佳线性无偏性。

估计量称最佳线性无偏估计量，这就是高斯马尔可夫定理。

最佳线性无偏估计特性保证估计值最大限度的集中在真值周围，估计值的置信区间最小。

选学内容：

渐近无偏性，一致性和渐近有效性：

上面的评价是对有限样本而言，下面讨论估计量的渐近特性。

渐近无偏性，一致性和渐近有效性。

先给出渐近分布的概念。

渐近分布。

用T1

设在每个样本容量Ti下重复抽样。

则每个xTi都应有自己的均值E（xTi）与方差Var（xTi）。

利用递增样本可以求得随机变量序列，

xT={xT1,xT2,…,xTN}

其中每个元素都是相应样本容量下的一个随机变量。

当TN趋于无穷大时，这些分布收敛于某一分布。

则称该分布为渐近分布或极限分布。

渐近期望。

对于期望值序列，

E（xT）={E（xT1）,E（xT2）,…,E（xTN）}

如随着T→∞，期望值E（xT）收敛于某一常数μ，则称μ为xT的渐近期望。

记为

=μ（与期望概念不同）

与期望值序列相对应，也可以写出方差序列。

Var（xT）=E（xT-E（xT））2={E[xT1-E（xT1）]2,E[xT2-E（xT2）]2,…,E[xTN-E（xTN）]2}

但在许多情形下，（xT-E（xT））2=0，即xT的分布退化为一点。

例如，已知的分布是~N（μ,）。

当T→∞，Var（）→0。

为防止分布发生退化，可以用T乘Var（）。

当T→∞，TVar（）→σ2。

渐近方差。

若上述随机变量序列有渐近期望，同时有新序列，

E[T（xT-E（xT））2]={E{T[xT1-E（xT1）]2},E{T[xT2-E（xT2）]2},…,E{T[xTN-E（xTN）]2}}

满足

[T（xT-E（xT））2]=v

则定义xT的渐近方差为

[T（xT-E（xT））2]=v

渐近无偏性。

若的渐近期望为β，则为β的渐近无偏估计量，即

=β

一致性若满足

（1）渐近无偏性，

（2）=0，则具有一致性，为β的一致估计量。

渐近有效性。

若满足

（1）具有一致性，

（2）与其他估计量的方差相比，的渐进方差较小，Var（）

OLS估计量都能满足上述渐近特性，但满足渐近特性的估计量不见得是最佳线性无偏估计量。

注意：

分清4个式子的关系。

（1）真实的统计模型，yt=β0+β1xt+ut

（2）估计的统计模型，yt=+xt+

（3）真实的回归直线，E（yt）=β0+β1xt

（4）估计的回归直线，=+xt

2.2.3OLS回归直线的性质

（1）残差和等于零，∑=0

由正规方程2∑（yt--xt）（-1）=0得∑（yt--xt）=∑（yt-）=∑（）=0

（2）估计的回归直线=+xt过（,）点。

正规方程∑（yt--xt）=0两侧同除样本容量T，得=+。

得证。

（3）yt的拟合值的平均数等于其样本观测值的平均数，=。

=∑=∑（+xt）=+=。

得证。

（4）Cov（,xt）=0

只需证明∑（xt-）=∑xt-∑=∑xt=∑xt（--xt）=0。

上式为正规方程之一。

（5）Cov（,）=0

只需证明∑（-）=∑-∑=∑=∑（+xt）

=∑+∑xt=0

2.2.4yt的分布和的分布

根据假定条件ut~N（0,σ2），

E（yt）=E（β0+β1xt+ut）=β0+β1xt+E（ut）=β0+β1xt。

Var（yt）=Var（β0+β1xt+ut）=Var（β0+β1xt）+Var（ut）=σ2

yt是ut的线性函数，所以

yt~N（β0+β1xt,σ2）（注意：

不是）。

可以证明

E（）=β1，Var（）=σ2，

是yt的线性函数（=∑ktyt），所以

~N（β1,σ2）。

E（）=β0，

是yt的线性函数（），所以

~N（β0,）。

2的估计及参数的区间估计

定义

=

其中2表示待估参数的个数。

可以证明E（）=σ2。

是σ2的无偏估计量。

因为是残差，所以又称作误差均方。

可用来考察观测值对回归直线的离散程度。

推导过程如下：

（）-（）=

由及正规方程=+可得：

残差：

==

求平方和

取期望：

由于

由于，所以：

故有：

记=则有，

为计算方便，也可以采用如下计算形式：

（推导过程