第3章线性回归问题与非线性回归分析.ppt

1、第第3章章 线性回归问题与非线性回线性回归问题与非线性回归分析归分析uu应用普通最小二乘法时要求模型的随机误差项必须满足：应用普通最小二乘法时要求模型的随机误差项必须满足：uu（1 1）无偏性假定。即所有随机误差项的期望为）无偏性假定。即所有随机误差项的期望为0 0uu（2 2）同方差性假定。即所有随机误差项的方差相等）同方差性假定。即所有随机误差项的方差相等uu（3 3）无序列相关性假定。即随机误差项之间无序列相关性）无序列相关性假定。即随机误差项之间无序列相关性uu（4 4）解释变量与随机误差）解释变量与随机误差项项相互独立。即解释变量为非随机变相互独立。即解释变量为非随机变量量uu（5

2、5）正态性假定。即随机误差项服从均值为）正态性假定。即随机误差项服从均值为0 0的正态分布。的正态分布。uu在此基础上估计的参数才是最优线性无偏估计量。在此基础上估计的参数才是最优线性无偏估计量。uu但在实际操作处理过程中，这些基本的假定条件不一定满足，这但在实际操作处理过程中，这些基本的假定条件不一定满足，这使得模型无法应用使得模型无法应用OLSOLS方法估计或运用方法估计或运用OLSOLS方法得到的估计量不方法得到的估计量不具备最优线性无偏的特点。因此在建立模型后，需要检验随机误具备最优线性无偏的特点。因此在建立模型后，需要检验随机误差项是否符合差项是否符合OLSOLS的假设条件。如果不符

3、合，则需要对估计方法的假设条件。如果不符合，则需要对估计方法进行改进和修改。进行改进和修改。3.1 线性回归的常见问题线性回归的常见问题n n3.1.1 多重共线性n n3.1.2 异方差性n n3.1.3 自相关性 3.1.1 多重共线性多重共线性 1.1.概念概念i=1,2,n 其其其其基基基基本本本本假假假假设设设设之之之之一一一一是是是是解解解解释释释释变变变变量量量量之之之之间间间间不不不不存存存存在在在在完完完完全全全全共共共共线线线线性。性。性。性。如果某两个或多个解释变量之间出现了相关性,则称为多重共线性(Multicollinearity)。如果存在如果存在如果存在如果存在

4、c c1 1X X1 1i i+c c2 2X X2 2i i+c ck kX Xkiki=0 =0 i i=1,2,=1,2,n n 其中其中其中其中:c ci i 不全为不全为不全为不全为0 0，则称为解释变量间存在完全共线性。，则称为解释变量间存在完全共线性。，则称为解释变量间存在完全共线性。，则称为解释变量间存在完全共线性。多重共线性在实际的多元线性回归分析尤其是涉及经济变里的模型中很常见。即在决定一个因变量的多个自变量中，有部分自变量呈高度相关，也就是说，这些变量被用来解释因变量时导致所提供的信息出现“重叠”。例如、模型中如果有多个自变量有共同的上升趋势，它们之间很可能有高度的相关关

5、系导致共线性。实际经济问题中的多重共线性实际经济问题中的多重共线性（1 1 1 1）经济变量相关的共同趋势）经济变量相关的共同趋势）经济变量相关的共同趋势）经济变量相关的共同趋势 时间序列样本：经济繁荣时期，各基本经济时间序列样本：经济繁荣时期，各基本经济时间序列样本：经济繁荣时期，各基本经济时间序列样本：经济繁荣时期，各基本经济变量（收入、消费、投资、价格）都趋于增长；变量（收入、消费、投资、价格）都趋于增长；变量（收入、消费、投资、价格）都趋于增长；变量（收入、消费、投资、价格）都趋于增长；衰退时期，又同时趋于下降。衰退时期，又同时趋于下降。衰退时期，又同时趋于下降。衰退时期，又同时趋于下

6、降。横截面数据：生产函数中，资本投入与劳动横截面数据：生产函数中，资本投入与劳动横截面数据：生产函数中，资本投入与劳动横截面数据：生产函数中，资本投入与劳动力投入往往出现高度相关情况，大企业二者都大，力投入往往出现高度相关情况，大企业二者都大，力投入往往出现高度相关情况，大企业二者都大，力投入往往出现高度相关情况，大企业二者都大，小企业都小。小企业都小。小企业都小。小企业都小。（2 2 2 2）滞后变量的引入）滞后变量的引入）滞后变量的引入）滞后变量的引入 在经济计量模型中，往往需要引入滞后经济变量来反在经济计量模型中，往往需要引入滞后经济变量来反映真实的经济关系。映真实的经济关系。例如，消费

7、例如，消费=f(=f(当期收入当期收入,前期收入）前期收入）显然，两期收入间有较强的线性相关性。显然，两期收入间有较强的线性相关性。（3 3 3 3）样本资料的限制）样本资料的限制）样本资料的限制）样本资料的限制 由于完全符合理论模型所要求的样本数据较难收集，特由于完全符合理论模型所要求的样本数据较难收集，特由于完全符合理论模型所要求的样本数据较难收集，特由于完全符合理论模型所要求的样本数据较难收集，特定样本可能存在某种程度的多重共线性定样本可能存在某种程度的多重共线性定样本可能存在某种程度的多重共线性定样本可能存在某种程度的多重共线性一般经验：诊断方法诊断方法n n1.一些经验方法2.条件指

8、数 条件指数（condition index）可以用来判断多重共线性是否存在以及多重共线性的严重程度，通常认为：n n 从条件指数可以看到，最大的条件数为从条件指数可以看到，最大的条件数为162.804162.804，说明自变，说明自变量间存在严重的共线性。量间存在严重的共线性。n n 如果有某几个自变量的方差比例值在某一行同时较大（接如果有某几个自变量的方差比例值在某一行同时较大（接近近1 1），则这几个自变量间就存在共线性。），则这几个自变量间就存在共线性。例例3.1 3.1 根据例根据例2.12.1计算特征值及条件指数计算特征值及条件指数多重共线性检验多重共线性检验SPSSSPSS 打开

9、Linear Regression:Statistics子对话框，选择Collinearity diagnostics(共线性诊断)，单击Continue返回主对话框并单击OK按钮。这样SPSS 便可输出所有检查多重共线性的指标。3.方差扩大因子法 与特征根法比较，方差扩大因子法可以较准确地说明哪些变量与其他变量有严重的共线性，严重程度如何n例例3.2 3.2 承接例承接例3.13.1，用方差扩大因子法检验，用方差扩大因子法检验 n多重共线性检验多重共线性检验SPSSSPSSn n除除PMGPMG外，其他变量都与别的变量存在程度不同的外，其他变量都与别的变量存在程度不同的共线性问题，其中共线性

10、问题，其中MOBMOB的共线性最严重。的共线性最严重。克服多重共线性的方法 1.排除引起共线性的变量n n n n 找出引起多重共线性的解释变量，将它排除出去，找出引起多重共线性的解释变量，将它排除出去，找出引起多重共线性的解释变量，将它排除出去，找出引起多重共线性的解释变量，将它排除出去，是最为有效的克服多重共线性问题的方法。是最为有效的克服多重共线性问题的方法。是最为有效的克服多重共线性问题的方法。是最为有效的克服多重共线性问题的方法。n n 注意：注意：注意：注意：n n剩余解释变量参数的经济含义和数值都发生了变化。剩余解释变量参数的经济含义和数值都发生了变化。剩余解释变量参数的经济含义

11、和数值都发生了变化。剩余解释变量参数的经济含义和数值都发生了变化。例2.1 删去POP，再进行回归2.增大样本容量n n 由于多重共线性是一样本特征，故有可能由于多重共线性是一样本特征，故有可能在关于同样变量的另一样本中共线性没有第一个在关于同样变量的另一样本中共线性没有第一个样本那么严重。一般认为：解释变量之间的相关样本那么严重。一般认为：解释变量之间的相关程度与样本容量成反比，即样本容量越小，相关程度与样本容量成反比，即样本容量越小，相关程度越高；样本容量越大，相关程度越小。因此，程度越高；样本容量越大，相关程度越小。因此，收集更多观测值，增加样本容量，就可以避免或收集更多观测值，增加样本

12、容量，就可以避免或减轻多重共线性的危害。减轻多重共线性的危害。n n 在实践中，当我们所选的变量个数接近样在实践中，当我们所选的变量个数接近样本容量时，自变量间就容易产生共线性。所以，本容量时，自变量间就容易产生共线性。所以，我们在运用回归分析研究经济问题时，要尽可能我们在运用回归分析研究经济问题时，要尽可能使样本容量远大于自变量个数。使样本容量远大于自变量个数。3.差分法 时间序列数据、线性模型：将原模型时间序列数据、线性模型：将原模型变换为差分模型变换为差分模型:Y Yi i=1 1 X X1 1i i+2 2 X X2 2i i+k k X Xkiki+i i 可以相对有效地消除原模型中

13、的多可以相对有效地消除原模型中的多重共线性。重共线性。一般讲，增量之间的线性关系远比总量之间的线性关系弱得多。例如例如例如例如:中国中国GDPGDP与居民消费与居民消费C C的总量与增量数据的总量与增量数据YearGDPCONSGDPCONS198149013309NA3331982548936385883291983607640215873831984716446941088673198587925773 1628107919861013365421341769198711784745116519091988147049360292019091989164661055617621196199

14、01832011362185480619912128013146296017841992258641595245842806199334501201828637423019944711127216126107034199559405345291229473131996684984017290935643 由表中的比值可以直观地看到，增量的线性关由表中的比值可以直观地看到，增量的线性关由表中的比值可以直观地看到，增量的线性关由表中的比值可以直观地看到，增量的线性关系弱于总量之间的线性关系，可以部分克服共线性系弱于总量之间的线性关系，可以部分克服共线性系弱于总量之间的线性关系，可以部分克服共线性系

15、弱于总量之间的线性关系，可以部分克服共线性的问题。的问题。的问题。的问题。原模型和差分模型经过检验都具有多重共线性，原模型和差分模型经过检验都具有多重共线性，原模型和差分模型经过检验都具有多重共线性，原模型和差分模型经过检验都具有多重共线性，但程度不同。但程度不同。但程度不同。但程度不同。n n命令n nLs d(y)d(x1)d(x2).d(xp)n nLs y-y(-1)x1-x1(-1)x2-x2(-1)xp-xp(-1)4.重新定义方程n n比如可以在例2.1中考虑用人均汽油消费量、人均机动车数量、人均国民生产总值和油价这四个变量建模。取消原模型中的人口数变量。由于减少了变量，也就降低

16、了发生共线性的可能性。5.回归系数的有偏估计n n岭回归法n n主成分法n n偏最小二乘法n n差分法 1.1.异方差的含义异方差的含义异方差的含义异方差的含义n n在一元线性回归模型中，如果在一元线性回归模型中，如果 的的方差是随解释变量变化方差是随解释变量变化的量，则称此时随机误差序列存在异方差。的量，则称此时随机误差序列存在异方差。n n在多元线性回归模型中，如果在多元线性回归模型中，如果 的方差协方差矩阵主对角的方差协方差矩阵主对角线的元素不相等，则表明存在异方差线的元素不相等，则表明存在异方差 即即对对于于不不同同的的样样本本点点，随随机机误误差差项项的的方方差差不不再再是是常常数数，则则认为出现了认为出现了异方差性异方差性。n n 3.1.2 3.1.2 异方差性异方差性23n n为什么会产生这种异方差性呢？为什么会产生这种异方差性呢？n n一方面是因为随机误差项包括了测量误差和模型一方面是因为随机误差项包括了测量误差和模型中被省略的一些因素对因变量的影响，另一方面中被省略的一些因素对因变量的影响，另一方面来自不同抽样单元的因变量观察值之间可能差别来自不同抽样单元的因变量观