线性回归模型检验方法拓展-三大检验.doc

线性回归模型检验方法拓展-三大检验.doc

《线性回归模型检验方法拓展-三大检验.doc》由会员分享，可在线阅读，更多相关《线性回归模型检验方法拓展-三大检验.doc（23页珍藏版）》请在冰豆网上搜索。

第四章　线性回归模型检验方法拓展——三大检验

作为统计推断的核心内容，除了估计未知参数以外，对参数的假设检验是实证分析中的一个重要方面。

对模型进行各种检验的目的是，改善模型的设定以确保基本假设和估计方法比较适合于数据，同时也是对有关理论有效性的验证。

一、假设检验的基本理论及准则

假设检验的理论依据是“小概率事件原理”，它的一般步骤是

（1）建立两个相对（互相排斥）的假设（零假设和备择假设）。

（2）在零假设条件下，寻求用于检验的统计量及其分布。

（3）得出拒绝或接受零假设的判别规则。

另一方面，对于任何的检验过程，都有可能犯错误，即所谓的第一类错误

P（拒绝H0|H0为真）=

和第二类错误

P（接受H0|H0不真）=

在下图，粉红色部分表示P（拒绝H0|H0为真）=。

黄色部分表示P（接受H0|H0不真）=。

而犯这两类错误的概率是一种此消彼长的情况，于是如何控制这两个概率，使它们尽可能的都小，就成了寻找优良的检验方法的关键。

下面简要介绍假设检验的有关基本理论。

参数显著性检验的思路是，已知总体的分布，其中是未知参数。

总体真实分布完全由未知参数的取值所决定。

对提出某种假设，从总体中抽取一个容量为n的样本，确定一个统计量及其分布，决定一个拒绝域，使得，或者对样本观测数据X，。

是显著性水平，即犯第一类错误的概率。

既然犯两类错误的概率不能同时被控制，所以通常的做法是，限制犯第一类错误的概率，使犯第二类错误的概率尽可能的小，即在

的条件下，使得

，

达到最大，或

，

达到最小。

其中表示总体分布为时，事件的概率，为零假设集合（只含一个点时成为简单原假设，否则称为复杂原假设）。

为备择假设集合，并且与不能相交。

由前述可知，当为真时，它被拒绝（亦即H0不真时，接受H0）的概率为，也就是被接受（亦即H0不真时，拒绝H0）的概率是（功效），我们把这个接受的概率称为该检验的势。

在对未知参数作假设检验时，在固定下，对的每一个值，相应地可求得的值，则定义

称为该检验的势函数。

统计检验的势（函数）主要用于比较假设检验的优劣。

于是一个好的检验方程是

或

为了理论上的深入研究和表达方便，我们常用函数来表示检验法。

定义函数

它是拒绝域的线性函数，仅取值0或1。

反之，如果一个函数中只取0或1，则可作为一个拒绝域。

也就是说，和之间建立了一种对立关系，给出一个就等价于给出了一个检验法，（我们称为检验函数）。

那么，对于检验法的势函数为

于是，一个好的检验法又可写为

称满足上式的检验法为最优势检验。

如果对于复杂原假设和备择假设，则称为一致最优势检验（）。

奈曼—皮尔逊（）基本引理给出于是的充要条件。

定理　设是来自总体分布密度为的样本，为未知参数，对于简单假设检验问题，检验函数是显著性水平为的最优势检验的充要条件是，存在常数，使得满足

这就是著名的奈曼—皮尔逊基本引理，需要指出的是，上述定理中的检验函数通常称为似然比检验函数，若记

称为似然比统计量。

如果较大，意味着较大。

所以在为真时观测到样本点的可能性比为真时观察到样本点的可能性小，因而应拒绝原假设；反之，如果较小则应接受。

此外，利用，上述定理中的可写为

这说明对于简单假设检验问题，似然比检验是最优的，反之最优势检验法也一定是似然比检验法。

而大量的文献都已证明了传统假设检验中的检验、检验、检验和检验都是最优势检验。

于是，我们可以放心地回到这部份的主题——计量经济模型的（假设）检验方法。

二、一般线性框架下的假设检验

设多元回归模型为

（2-43）

式（2-43）的统计检验通常包括以下三种情况

1、单个系数的显著性检验。

2、若干个回归系数的联合检验。

3、回归系数线性组合的检验。

从检验的方面看，考虑以下典型假设

、。

即解释变量对Y没有影响，这是最常见的参数显著性检验。

、。

是某一具体值。

例如表示价格弹性，我们也许希望它是-1。

、。

这里的可以看成生产函数中资本和劳动的弹性，此时检验是否规模报酬不变。

、或。

即检验和的系数是否相同。

、。

即检验全部解释变量都对没有影响。

、。

　这里的含义是把向量分为两个子向量和，分别含有和个元素。

检验就是检验某一些解释变量（的一部分）对没有影响。

诸如以上的情形都可归于一般的线性框架

（2-44）

注意：

这里。

其中是由已知常数构成的矩阵（），r是各元素为常数（一般是0或1）的矩阵。

于是，对于上述情形，的具体表示为

（i）

（ii）

（iii）

（iv）

（v）

（vi）

将上述假设问题一般化，则

为了检验这个假设，应先估计出，计算，若其值较“小”，（接近于0），则不应否定原假设；而如果其值较大，那么应对提出怀疑。

为此我们先考察的分布。

对于OLS的，我们知道。

这里的是所有解释变量观测值组成的矩阵，其中不含全是1的第一列，的数学期望和方差分别是

所以

于是，在成立的条件下

那么，由有关的数理统计知识可知，其中的方差经过构造，服从自由度为的卡方分布，为参数中非零的个数，即

（2-45）

此外，我们还可以证明

（残差平方和的分布）。

因此，由上述两式，可构造在下的F检验统计量

（2-46）

注意，（亦即）。

于是，检验的程序是，如果计算出的F值大于某个事先选定的临界值，则拒绝。

具体描述如下

、

此时为。

为,即主对角线上的第个元素，是一K阶对称方阵。

因此

（2-47）

取平方根　，这就是传统的关于回归参数显著性的t检验法。

、

类似，这里

（2-48）

此时也可以计算，比如的95%置信区间，而不用检验关于的具体假设，这个置信区间是。

、

给出了两个估计系数的和，而此时，式中，。

那么

于是检验统计量为

（2-49）

或者，也可以计算的95%置信区间

、

类似，可推得此时的检验统计量为

（2-50）

、

此时，，，那么

（2-51）

这就是我们熟悉的关于回归方程显著性的F检验。

、

这里对应于。

把分块为，可以证明（过程略）

此时

（2-52）

其中，是对做线性回归的残差平方和。

是对所有回归的。

通过上述示例，我们看到在一般线性框架下的假设检验，它涵盖了经典计量经济分析中的所有统计检验方法。

有了它，我们可以方便地实现许多实证问题中线性意义下的统计检验。

三、一般线性假设检验的另一种形式

1、“有约束”与“无约束”检验。

上面第种情况出现的统计量就是这里所说的另一种形式。

显然是的特殊情况，而事实上我们还将看到其它的情况也可归于。

另外，还有一个问题，即类似于第种情况的检验与通常带约束的最小二乘估计的关系是什么？

也就是说，对未知参数有约束限制的模型进行回归后的结果，与对没有约束限制的模型回归后的参数检验的结果是否一致？

下面的具体分析回答了这一问题。

事实上，无论还是都可以认为用了两种不同回归的结果。

第一种回归可看作有约束的回归，或者说中的约束条件实际上是对估计方程施加的。

即中有约束回归是将从回归式中省略掉，或等价地说，令为零；在中，有约束的回归只用了前面一部分变量（）。

而、两种情况的第二种回归是无约束回归，它们都用了所有的变量。

记无约束模型的残差平方和是，有约束模型的残差平方和是，现在的问题是对某些的显著性检验也就是对应的加入模型后，残差平方和是否显著减少。

2、带约束条件的最小二乘估计。

根据上述第种情形，考虑离差形式的回归方程　

对其施加约束，代入回归方程

或

由变量对的回归便可得到的受约束估计值，而这个回归的就是有约束的，即。

实际上，这就是所谓带约束条件的最小二乘估计。

而有约束的与无约束的之间有什么样的差异？

3、“另一种形式”的得到。

一般地，在约束条件下，求使达到最小的，构造拉格朗日函数

（2-53）

运用约束条件下的OLS方法可得到（过程略）

（2-54）

其中，是无约束的估计量，有约束回归的残差为

将其转置，再与其自身相乘，有

再把式（2-54）的代入并化简得

（2-55）

与式（2-46）相比，即

（2-46）

中除外的分子完全相同，这就得到了检验假设的统计量的“另一种形式”为

（2-56）

这也恰好说明前面所述的6种检验的情形都可以用上述方式进行，即拟合一个有约束的回归，用有约束模型的残差平方和与无约束模型的残差平方和之差的大小（或记为）来推断原假设是否成立。

就是说一般的线性假设情形都是的特例，或者式（2-56）所示的F统计量是普遍适应于一般线性假设的一种重要检验方法。

即

（2-57）

其中，和分别是有约束模型和无约束模型的残差平方和,是约束条件个数。

同时，这也回答了本小节开始的问题，即对于未知参数有约束限制的模型进行回归后的结果，与对无约束限制的模型回归后的参数检验的结果应该是一致的。

四、似然比检验（）

由前述可知，在统计推断中，古典检验方法是建立在似然比的基础之上。

由此可见似然比检验（）的重要性（当然它的实用性也会在应用中显现出来）。

奈曼认为（，1928）检验只适用于对线性约束的检验（在张晓峒教授的教科书里如此说，但这个说法可能存在偏颇。

在Green的第五版教科书里，描述LR方法是可以用于非线性约束检验的）。

该检验的基本思路是如果约束条件成立，则相应的约束模型与非约束模型的极大似然函数值应该是近似相等（以下简称似然函数）。

先看一个二元函数的简单例子，设

（1）

其对数似然函数为

（2）

假设，则上式为

（3）

式（3）是在线性约束（先验）下估计的，故称有约束对数似然函数（RLLF），而式

（2）称为无约束对数似然函数（ULLF）。

为了检验先验约束的真实性，检验使用如下统计量

（4）

式中，，为无约束似然函数，为有约束似然函数。

可以证明，在大样本下，由式（4）给出的统计量服从自由度为假设中约束条件个数的卡方分布。

本例中线性约束只有一个，所以自由度为1。

检验的基本思想是，如果先验约束是真实的，则有约束与无约束的对数似然函数不应有差异。

这时，式（4）中的将为0。

但如果先验约束不真，则两个对数似然函数必定相异。

根据统计知识，在大样本下，服从分布，于是能找出这个差异在或上是否在统计上显著，同时根据值原理，还能计算出相应的值。

一般而言，似然比被定义为原假设下似然函数的最大值与无约束条件下似然函数的最大值的比率。

前面我们得到了线性回归模型参数的极大似然估计量

它们在无约束条件下，使似然函数值最大化。

把它们代入似然函数可得无约束的最大似然值（推导过程略）

　　　　（2-58）

式中为一常数，与模型中的任何参数无关，是残差平方和。

另一方面，如果在约束条件下，使似然函数值最大化，令和为有约束的参数估计值，是约束条件下的最大似然值；令和是无约束的参数估计值，无约束的最大值为，则当然不会超过，但如果约束条件“有效”，应当“逼近”，这就是似然比检验的基本思路（在有约束条件下，即模型中有没有出现的变量，其拟合效果与无约束条件下的模型拟合效果一样，只能说明有约束条件的模型好）。

因此，定义似然比为

（2-59）

显然，。

如果原假设为真，我们认为的值会接近1。

或者说，如果太小，我们则应该拒绝