第2讲简单回归模型.pptx

1、第第二章二章：简单回归模型：简单回归模型2.1 简单回归模型的定义2.2 普通最小二乘法(OLS)的推导2.3 OLS的操作技巧2.4 测量单位和函数形式2.5 OLS估计量的期望值和方差2.6 过原点回归第一节 简单回归模型的定义一、回归一、回归u最初的涵义：回归（最初的涵义：回归（regress）一词最早由英国生理学家高尔顿）一词最早由英国生理学家高尔顿（Galton）提出，用以指给定父母的身高后，儿女的身高有回复）提出，用以指给定父母的身高后，儿女的身高有回复到人口总体平均身高的趋势，即到人口总体平均身高的趋势，即“回归到中等回归到中等”（regression to mediocrity

2、）u回归分析：在回归分析：在其他条件不变其他条件不变的情况下，考察一个变量对另一个的情况下，考察一个变量对另一个变量的影响。变量的影响。1.回归的涵义回归的涵义2.回归分析的条件：回归分析的条件：变量之间存在密切的相关关系和因果关系u相关的形式：线性相关线性相关和非线性相关u线性相关程度的衡量：多变量多变量的线性相关程度：复相关系数、偏相关系数双变量双变量 在上述式子中，只有一个非常数回归元，我们称之为简单的回归模型、两变量回归模型或者双变量回归模型。二、简单回归模型二、简单回归模型1.模型：模型：2.线性模型的含义：线性模型的含义：计量经济学中计量经济学中,线性回归模型的线性回归模型的“线性

3、线性”有两种解释：有两种解释：就就变量而言变量而言是线性的是线性的 Y的条件期望（均值）是的条件期望（均值）是X的线性函数的线性函数就就参数而言参数而言是线性的是线性的 Y的条件期望（均值）是参数的条件期望（均值）是参数的线性函数的线性函数对变量、参数均为对变量、参数均为“线性线性”对参数对参数“线性线性”，对变量，对变量”非线性非线性”对变量对变量“线性线性”，对参数，对参数”非线性非线性”计量经济学中，线性回归模型主要指就参数而言是“线性”的,线性模型并不要求变量之间一定是线性关系，只要可以通过转换使得两个变量的转换形式之间存在相对于参数的线性关系，就可以认定这个模型为线性模型。这样一个模

4、型可以转化为以下形式：u几种常用的线性形式几种常用的线性形式3.可能影响随机误差项的因素：可能影响随机误差项的因素：无法获得数据的已知影响因素（数据缺失）无法获得数据的已知影响因素（数据缺失）众多细小影响因素（非系统性影响）众多细小影响因素（非系统性影响）数据观测误差（含有不适当的替代变量）数据观测误差（含有不适当的替代变量）模型设定误差（变量、函数形式的设定）模型设定误差（变量、函数形式的设定）变量的内在随机性（人类行为的内在随机性）变量的内在随机性（人类行为的内在随机性）未知的影响因素（理论的模糊性）未知的影响因素（理论的模糊性）4.例子：例子：Y需求量需求量收入水平收入水平总产出水平总产

5、出水平X价格价格受教育水平受教育水平教育教育其他其他影响影响因素因素收入收入其他商品价格其他商品价格个人偏好个人偏好工作经验工作经验个人能力个人能力家庭背景家庭背景物质资本投入物质资本投入劳动力投入劳动力投入技术技术 简单回归分析（即只有一个解释变量）难以做简单回归分析（即只有一个解释变量）难以做到控制其他条件不变，但可以为我们学习多元回归到控制其他条件不变，但可以为我们学习多元回归分析（即两个及两个以上解释变量）奠定基础分析（即两个及两个以上解释变量）奠定基础 这个简单的工资函数描述了受教育年限和工资水这个简单的工资函数描述了受教育年限和工资水平之间的关系，其中参数平之间的关系，其中参数1衡

6、量了在其他条件不变的衡量了在其他条件不变的情况下，多接受一年教育，工资可以增加的额度。情况下，多接受一年教育，工资可以增加的额度。也就是：也就是：但这里有个前提就是：但这里有个前提就是：这就是刻画其他这就是刻画其他条件不变的一条途径。条件不变的一条途径。但如果：但如果：，可以改变方程的截距项：，可以改变方程的截距项：，新的扰动项，新的扰动项 ，这说明，这说明 的限制性并不够严格。的限制性并不够严格。三、关于简单回归模型的基本假定三、关于简单回归模型的基本假定 零条件均值假定的关键是假定零条件均值假定的关键是假定u的均值独立性，如果均值的均值独立性，如果均值独立性成立，那么独立性成立，那么u的条

7、件均值必然等于零。的条件均值必然等于零。如何如何保证其他条件不变？简单地，如果保证其他条件不变？简单地，如果X和和u是独立的，即是独立的，即X的的变化不会对变化不会对u造成影响，造成影响，b b1就可以度量其他条件不变的情况下就可以度量其他条件不变的情况下X对对Y的影响。计量分析中，采用一个更弱一些的技术性假定的影响。计量分析中，采用一个更弱一些的技术性假定零条件零条件均值假定均值假定（zero conditional mean assumption）三个假定：三个假定：1.u与与X独立独立2.u的均值独立于的均值独立于X（均值独立性）（均值独立性）3.u与与X不相关不相关 在上述假定中，在上

8、述假定中，1是比是比2和和3更强的假定，更强的假定，2是比是比3更强的假定。更强的假定。对于回归分析，假定对于回归分析，假定2是必须的，但假定是必须的，但假定1和和3更易于理解更易于理解四四、总体回归函数和样本回归函数、总体回归函数和样本回归函数1.总体回归函数总体回归函数(population regression function,PRF)x1x2E(y|x)=b0+b1xyf(y)x给定给定x时时y的的条件分布条件分布0.y4y1y2y3x1x2x3x4u1u2u3u4xyE(y|x)=b0+b1x02.样本回归函数样本回归函数(sample regression function,SR

9、F)1）样本回归曲线）样本回归曲线 对于对于X的一定值，取得的一定值，取得Y 的样本观测值，可计算其条件的样本观测值，可计算其条件 均值，均值，样本观测值条件均值样本观测值条件均值的轨迹，称为样本回归线。的轨迹，称为样本回归线。如果把被解释变量如果把被解释变量Y的的样本条件均值样本条件均值表示为解释变表示为解释变量量X的某种函数，这个函数的某种函数，这个函数称为样本回归函数（称为样本回归函数（SRF）。）。2）样本回归函数）样本回归函数XYSRF17 样本回归函数如果为线性函数，可表示样本回归函数如果为线性函数，可表示为为 其中：其中：是与是与 相对应相对应的的 Y 的的样本样本条件均值；条件

10、均值；和和 分别是样本回归函数的分别是样本回归函数的参数。参数。3）样本回归函数的函数形式）样本回归函数的函数形式u条件均值形式：条件均值形式：u个别值（实际值）形式个别值（实际值）形式：被解释被解释变量变量Y的实际观测值的实际观测值 不完全等于样本条件均值不完全等于样本条件均值 ，二者之差用二者之差用 表示，表示，称为剩余项或残差项：称为剩余项或残差项：3）样本回归函数的特点）样本回归函数的特点每次抽样都能获得一个样本，就可以拟合一条样本回归线每次抽样都能获得一个样本，就可以拟合一条样本回归线u样本回归线随抽样波动而变化样本回归线随抽样波动而变化:SPF并不唯一并不唯一u样样本本回回归归函函

11、数数的的形形式式应应该该与与总总体体回回归归函函数数的的形形式式保持一致保持一致XYSPF1SPF2u样样本本回回归归线线只只是是样样本本条条件件均均值值的的轨轨迹迹，并并不不是是总总体体回回归归曲线，它至多只是未知的总体回归线的近似表现。曲线，它至多只是未知的总体回归线的近似表现。3.总体回归函数与样本回归函数之间的关系总体回归函数与样本回归函数之间的关系XY0PRFSRFXiYi总体回体回归函数函数样本回本回归函数函数如果能够获得如果能够获得 和和 的数值，显然的数值，显然:u 和和 是对总体回归参数是对总体回归参数 和和 的估计的估计u 是对总体条件期望是对总体条件期望 的估计的估计u

12、在概念上类似于总体回归函数中的在概念上类似于总体回归函数中的 ，可视为对可视为对 的估计的估计第二节 普通最小二乘法（OLS）的推导一、一、OLS的推导的推导1.OLS的基本思想的基本思想u不同的估计方法可以得到不同的样本回归参数不同的估计方法可以得到不同的样本回归参数 和和 ，所估计的，所估计的 也就不同。也就不同。u理想的估计方法应使理想的估计方法应使 与与 的差即剩余的差即剩余 越小越越小越好。好。u因为因为 可正可负，所以应该取可正可负，所以应该取 最小，也就是最小，也就是 最小最小，显然，在观测值显然，在观测值Y和和X确定时确定时，的大小决定于的大小决定于 和和 。2.OLS的推导的

13、推导u为了估计出总体回归函数中的参数，需要从总体中抽取一个为了估计出总体回归函数中的参数，需要从总体中抽取一个样本。用样本。用(Xi,Yi):i=1,n 表示从总体中得到的一个样本容量表示从总体中得到的一个样本容量为为n的随机样本。有的随机样本。有：uYi=b b0+b b1Xi+ui23根据零条件均值假定，根据零条件均值假定，Cov(X,u)=E(Xu)E(X)E(u)=E(Xu)=0所以：所以：E(Y b b0 b b1X)=0 EX(Y b b0 b b1X)=024即：即：普通最小二乘（普通最小二乘（ordinary least square,OLS）估计量）估计量进一步的分析进一步的

14、分析拟合值（拟合值（fitted value）、残差（）、残差（residual）和样本回归）和样本回归函数（函数（SRF）3.OLS的推导的推导另一种方法另一种方法基本思想：找到参数的合适估计值使得基本思想：找到参数的合适估计值使得Y的拟合值与实际值总体的拟合值与实际值总体而言尽可能地接近，也就是总体而言令残差最小而言尽可能地接近，也就是总体而言令残差最小4.OLS的手工计算步骤的手工计算步骤例题例题2-1（课本例（课本例2.3 P32）salary:CEO的薪水的薪水roe：公司的股本回报率：公司的股本回报率对估计量的解释对估计量的解释u常数项963.19衡量了当roe=0时CEO的薪水。

15、u1的估计值反映了当roe增加一个百分点，CEO的薪水将增加18500美元。u如果roe=30，那么CEO薪水的估计值应该为多少？二、二、OLS统计量的代数特征（见教材统计量的代数特征（见教材P37）1.OLS的残差和为零，因此的残差和为零，因此OLS的样本残差平均值也为零的样本残差平均值也为零因此有：因此有：2.解释变量和解释变量和OLS残差之间的样本协方差为零残差之间的样本协方差为零3.OLS回归线总是通过样本均值。回归线总是通过样本均值。4.把每次观测看作被解释部分和未解释部分构成，则拟把每次观测看作被解释部分和未解释部分构成，则拟合值和残差在样本中是不相关的。合值和残差在样本中是不相关

16、的。(证明证明)即，如果：即，如果：则有：则有：第三节第三节 拟合优度拟合优度(goodness of fitness)1.总平方和（总平方和（SST）：对）：对y在样本中所有变动的度量，在样本中所有变动的度量，即它度量了即它度量了y在样本中的分散程度。在样本中的分散程度。一、一些相关术语一、一些相关术语将总平方和除以将总平方和除以n-1，就可以得到，就可以得到y的样本方差。的样本方差。2.解释平方和（解释平方和（SSE）：度量了）：度量了y的预测值在样本中的的预测值在样本中的变动，即衡量了被解释变量的样本总变异变动，即衡量了被解释变量的样本总变异能够被能够被解释变解释变量解释的部分。量解释的部分。3.残差平方和（残差平方和（SSR）：度量了残差的样本变异，即衡量了被）：度量了残差的样本变异，即衡量了被解释变量的样本总变异解释变量的样本总变异不能被不能被解释变量解释的部分，也称为剩解释变量解释的部分，也称为剩余平方和。余平方和。SST=SSE+SSR证明：证明：由于：由于：因此有：因此有：结论得证，这里，我们使用了这样一个事实：即样本结论得证，这里，我们使用了这样一个事实：即样本中因变