第二章--回归分析与模型设定(高级计量经济学-清华大学-潘文清).ppt

1、第二章 回归分析与模型设定,General Regression Analysis and Model Specification,回归分析（Regression Analysis）:一种最常用的统计分析工具，用来分析一个变量关于其他变量的依赖关系。X 与 Y间的回归关系可用来研究X对Y的影响，或用X来预测Y。,一、总体均值与样本均值 How to find the relationship between X and Y?理论上应寻找总体回归函数(PRF),即在给定X时，Y的条件均值的函数:Y|x=E(Y|X)=F(X),2.1 回归分析:问题的引入egression Analysis:In

2、troduction,但我们往往只能得到样本数据。因此自然想到用样本均值来估计总体均值，并寻找样本回归函数(SRF):mY|x=f(X),PRF,SRF,X,Y,We hope the SRF is a good estimate of the PRF.,Table 2.1 Joint frequency distribution of X=income and Y=saving rate,A simple illustration:how to find the sample mean,表 2.1 是1960年美国1027个家庭关于收入与储蓄率的联合频率分布.p(xi,yj)=the pro

3、portion of the 1027 families who reported the combination(X=xi and Y=yj).,The conditional mean of Y given X=xi is,mY|X,Conditional mean function of Y on X,Fig 2.1,同样地,如果可获得总体数据，我们就可得到给出X值时Y的总体条件均值(population conditional means),(xi,yi)=joint frequencies of the population(xi)=j(xi,yi)=marginal frequen

4、cies of X(yj|xi)=(xi,yi)/(xi)=conditional frequencies of Y given XX=i xi(xi)=population mean of XY|X=j yi(yj|xi)=population conditional mean of Y given X,Y|x=E(Y|X)=F(X),mY|x=f(X),Question:how to get f(x)?,如果经济理论表明:Y|x=+X 但表2.1显示 mY|X 并非一条直线-我们是保持 mY|X 的原样呢?还是对样本的 mY|X通过一条直线来平滑:m*Y|X=a+bX,-如果用平滑线,如何

5、寻找该直线?-用平滑线估计总体均值，要比样本均值估计效果更好吗?,如果经济理论表明:Y|X=X-如何寻找该曲线(curve)?平滑的样本曲线 m*Y|X 仍能告知有关 Y|X的相关信息吗？,二、条件分布,假设(X,Y)的联合概率密度函数(joint probability density function,pdf)为 f(x,y)，则 X的边际密度函数(marginal pdf):fX(x)=f(x,y)dy Y在 X=x 的条件密度函数(conditional pdf):fY|X(y|x)=f(x,y)/fX(x),条件 pdf fY|X(y|x)完全描述了Y 对 X的依赖关系。,已知条件

6、pdf,可计算:,条件期望(The conditional mean),条件方差(The conditional variance),条件偏度(The conditional skewness),条件峰度(The conditional kurtosis),2.2 回归分析Regression Analysis,What statistical properties does E(Y|X)process?,一、回归函数及其性质,定义 Regression Function:称条件期望 E(Y|X)为Y关于 X 的回归函数(regression function)。,Lemma Law of i

7、terated expectation:EE(Y|X)=E(Y),例:设 Y=工资,X=1(女性)and X=0(男性)，则 E(Y|X=1)=女性员工平均工资 E(Y|X=0)=男性员工平均工资,EE(Y|X)=P(X=1)E(Y|X=1)+P(X=0)E(Y|X=0)=全体平均工资=E(Y),Question:Why is E(Y|X)important from a statistical Perspective?假设我们希望使用X的函数g(X)来预测Y，且使用均方误(Mean Square Error,MSE)准则来评估 g(X)逼近Y的程度.则均方误准则（MSE criterion）

8、下的最优预测就是条件期望E(Y|X).。,定义 MSE:The mean square error of function g(X)used to pridict Y is defined as MSE(g)=EY-g(X)2,记 g0(X)=E(Y|X)则 MSE(g)=EY-g(X)2=EY-g0(X)+g0(X)-g(X)2=EY-g0(X)2+Eg0(X)-g(X)2+2EY-g0(X)g0(X)-g(X)=EY-g0(X)2+Eg0(X)-g(X)2=方差+偏误2 方差测度了Y对其期望真实误差(true error)。偏误20，且 g(X)=g0(X)时等号成立.因此，选择 g(X)

9、=E(Y|X)可使 MSE(g)达到极小。,证明:使用方差与偏误平方分解技术,Theorem Regression Identity:给定 E(Y|X),总有如下等价式：Y=E(Y|X)+=Y-E(Y|X)这里 称为回归扰动项(regression disturbance)且满足 E(|X)=0,证明:定义=Y-E(Y|X)，则 E(|X)=EY-E(Y|X)|X=E(Y|X)E(Y|X)=0,二、回归函数的等价形式,注意:,(a)回归函数 E(Y|X)可用来通过X的信息预测Y的均值;(b)E(|X)=0 意味着回归误差 不包含X的任何可用来预测Y的信息。换言之,所有可用来预测Y期望值的信息都

10、完全包含在 E(Y|X)之中。条件 E(|X)=0 对模型参数经济含义的解释至关重要(crucial)。,(c)E(|X)=0 意味着 E()=EE(|X)=0 且 E(X)=EE(X|X)=EXE(|X)=EX0=0,(d)可能存在 E(|X)=0 但 Var(|X)是X的函数。如果 Var(|X)=20,称 是条件同方差的(conditional homoskedasticity).否则,如果 Var(|X)=2(X),称存在条件异方差(conditional heteroskedastisity),注意：计量经济方法往往视是否存在条件异方差而有所不同。,Example:设 Y=0+(1+

11、2)X+其中 X 与 相互独立,且 E()=0,Var()=2。求 E(Y|X)及 Var(Y|X).,E(Y|X)=0+E(1+2)X|X+E(|X)=0+1X+2XE(|X)+E(|X)=0+1X+2X0+0=0+1XVar(Y|X)=EY-E(Y|X)2|X=E0+(1+2)X+-(0+1X)2|X=E(2X+)2|X=E(2X+1)22|X=(1+2X)2E(2|X)=(1+2X)22,注意:,该例解释了为什么的条件方差可能依赖 X。事实上,上述过程可写为 Y=0+1X+其中=(1+2X)易知 E(Y|X)=0+1X+(1+2X)E(|X)=0+1X Var(Y|X)=(1+2X)2V

12、ar(|X)=(1+2X)22,2.3 线性回归模型Linear Regression Modeling,但总起来看,回归函数 E(Y|X)的函数形式未知。,Question:How to model E(Y|X)?,一、建立条件期望 E(Y|X)的模型,总地说来,有种最基本的方法：(a)非参数法(Nonparametric approach)(b)参数法(Parametric approach),在经典计量经济学中,我们只关注参数方法：By restricting the class of functions F,we solve the MSE-minimization problem,特

13、别地,我们通常只用一簇线性函数(linear functions)来近似 g0(X).当然，可以用类似的方法来建立 g0(X)的非线性回归模型(Nonlinear regression models),对该簇函数,函数形式已知为线性;未知的是(k+1)1 向量.,注意:,(1)这里函数簇A的主要特征是 g(X)=X 关于是线性的。关于X可以是非线性的，如 g(X)=0+1X+2X2 或 g(X)=0+1lnX(2)关于参数的取值没有约束。,证明：求解最小化问题,根据一阶偏导为零的条件,设*满足上述一阶条件，则,EX(Y-X*)=0E(XY)-E(XX*)=0E(XY)=E(XX)*=E(XX)

14、-1E(XY),注意：,(a)条件E(Y2)保征E(Y|X)存在；(b)非奇异矩阵,保证解*存在。,(c)一般地，最佳线性最小二乘预测值(the best linear LS predictor)g*(X)=X*E(Y|X).,Question:What is the interpretation for*?,在一元线性回归 g(X)=X中，=(0,1),X=(1,X1)。,Slope:,Intercept:,Why?,验证,于是：,由于,则：,而,于是,可通过求解minE(Y-(0+1X1)2的方法解出*0，*1,Definition Linear Regression Model:The

15、specification Y=X+u,Rk+1is called a linear regression model,where u is the model regression disturbance or regression error.,注意：线性回归模型（linear regression model)是人为定义的。因此，该模型可能没有包括真正的回归函数（regression function）:g0(X)=E(Y|X),二、线性回归模型,Theorem:对线性回归模型 Y=X+u以*代表最佳线性最小二乘解(best linear least square approximati

16、on coefficient)，则=*当且仅当如下正交条件成立：E(Xu)=0,Proof:记 u=Y-X 如果=*，则 E(Xu)=E(XY)-E(XX)*=E(XY)-E(XX)E(XX)-1E(XY)=0 如果 E(Xu)=0,则 E(Xu)=E(XY)-E(XX)=0 于是：=E(XX)-1E(XY)=*,注意：,(1)无论E(Y|X)是否线性，我们总可以写出线性回归模型Y=X+u，并设定E(Xu)=0，以使=*；(2)当X中包含有截距项时（如X1=1），E(Xu)=0 就意味着E(u)=0。(Why?)(3)E(Xu)=0与E(u|X)=0不能等同。有E(u|X)=0就有E(Xu)=0,但反之不成立。例如：设u=1+，X与为相互独立且服从标准正态分布N(0,1)的两随机变量，则 E(u|X)=1 E(Xu)=E(X1)+E(X)=E(X)+E(X)E()=0(4)当E(u)=0时，E(Xu)=Cov(X,u)(Why?),2.4 模型的正确设定Correct Model Specification,对于被解释变量Y，最好的代表就是其条件期望E(Y|X)，因此，线性模型中模型的