GMM学习笔记.pdf

1、引入引入 GMM 的目的和的目的和两大两大作用作用 参数估计方法主要有最小二乘法，极大似然估计法，矩估计法。GMM 的引入有一定的意义。首先，处理大样本数据时，如果不知道变量的分布，GMM 估计方法优于 MLE。极大似然估计法1和广义矩估计法2被用于大样本情况下模型参数的估计，它们在大样本条件下显示了优良的性质。但是，使用极大似然估计法的前提是已知变量的分布，只是不知道其参数。此时，分布的设定难免有人为的因素，一旦给出了错误的分布假定，MLE 估计量通常是有偏的有偏的。而广义矩估计方法不需要对变量的分布进行假定，它只需要找到一些矩条件而不是整个密度函数；基于模型实际参数满足一定的矩条件，GMM

2、 估计量总是一致的一致的。当然，GMM 有时不能对样本中的全部信息进行有效利用。此外，只有当样本很大时，GMM估计量才是渐近有效渐近有效的。而在小样本中尽管也是一致的，但却不是有效的。其拥有十分良好的大样本性质，它的小样本性质并不令人满意。GMM 与 MLE 的差别还在于，在某些情况下，GMM 的计算较 MLE 方便。其次，GMM 是对工具变量法的补充和完善。当解释变量存在内生性时，研究者是通过寻找工具变量来解决此问题。当工具变量满足的矩条件个数大于待估计参数个数时，方程组的解不唯一。此时，运用广义矩估计法，即使不能够从一阶条件得出解，但它仍能对未知参数进行估计，并且得到渐进有效的参数估计值。

3、第三，GMM 估计方法允许模型设定中存在异方差和相关性。GMM 方法中权矩阵的选取，考虑了随机误差项的异方差和自相关。即针对异方差或者自相关，GMM 估计方法有不同的权矩阵构造方法。再次，假设检验。GMM 模型中，设计了多个统计量对模型设定及其参数进行假设检验。传统的计量经济学估计方法，例如普通最小二乘法、工具变量法和极大似然法等都存在自身的局限性。即其参数估计量必须在满足某些假设时，比如模型的随机误差项服从正态分布或某一已知分布时，才是可靠的估计量。解释变量外生时，估计的参数才是无偏的。而GMM 不需要知道随机误差项的准确分布信息，允许随机误差项存在异方差和序列相关，因而所得到的参数估计量比

4、其他参数估计方法更有效。作用：作用：解决内生变量问题：解决随机误差项存在异方差和序列相关问题：参数，一致、渐进正态性 J 统计量，渐进卡方性，可以检验模型及其参数。变量分布未知问题 1极大似然估计法(maximumlikelihoodmethod，ML)的应用虽然没有普通最小二乘法广泛，但它是一个具有更强理论性质的点估计方法，它以极大似然原理为基础，通过概率密度函数或者分布律来估计总体参数。对于一些特殊类型的计量经济模型，如我们后面将介绍的 Logit 和 Probit 模型，最小二乘法不再适用，极大似然法成为首选的估计方法。极大似然法的思路 极大似然估计法的出发点是已知被观测现象的分布，但不

5、知道其参数。极大似然法用得到观测值(样本)最高概率的那些参数的值来估计该分布的参数，从而提供了一种用于估计刻画一个分布的一组参数的方法。2广义矩方法确实是一种具有高度概括性的方法。其他的参数估计量可以看做它的特例。比如最小二乘法估计量(OLS)和最大似然估计量(MLE)都是 GMM 估计量的特例。当待估参数较多时。最大似然估计需要较为复杂的数值求解。GMM 估计更加方便。GMM 在时间序列及面板数据分析等许多场合有着广泛的应用 GMM 用于线性模型和非线性模型的区别：用于线性模型和非线性模型的区别：J 统计量的表达式中 g 在线性模型中能够用样本信息表达出来，而在非线性模型中，只能表达成隐函数

6、。在 GMM 统计量、参数估计方法、假设检验上，GMM 在线性模型和非线性模型中运用相同。2STS vs GMM GMM 与与 OLS、MLE、IV、GEE 的联系和区别的联系和区别 1，OLS：选择解释变量作为工具变量构造矩条件，权利矩阵为单位阵，GMM 即为 OLS。参数估计值相同,参数估计量的方差协方差矩阵一般不相同.2，MLE：用对数似然函数的导数构造等于 0 的矩条件时，所表示的 GMM 等价于 ML。3，IV：GMM 中方程个数等于参数个数时，即等价于工具变量估计法。4，2STS:2SLS 是工具变量估计方法的特殊情形，而工具变量估计是 GMM 估计的特殊情形。如果 GMM 中利用

7、了所有先决变量，2SLS 与 GMM 估计等价。如上图。5，与 GEE 的对比，GMM 的使用场合是估计方程的个数大于未知参数的个数。而这两者相等时，可以使用 GEE。GMM 的检验的检验 对于 GMM，关键是两项检验：一是检验过度识别限制是否有效。一是检验过度识别限制是否有效。Ho:E(ZU)=0 即 Jk 的那部分是否有效。如果经过检验无效，那么 GMM 在这个意义上就没有优越性。如果拒绝原假设，意味着并非所有的总体矩条件都成立。如果拒绝原假设，而且没有进一步的信息，就不能判断哪个矩条件不成立，或者说哪个工具变量无效。当 l=K 时，称模型参数“恰好识别”，这时不论总体矩条件是否真的成立，

8、都存在唯一解，意味着当 l=K 时，总体矩条件不可检验。当 lK 时，称模型参数“过度识别”，该检验称为过渡识别约束检验。过渡识别约束检验也称为 Sargan 检验。即，软件给出的结果是 J，但是判断时，要使用 nJ.例如，某个模型计算得到 J=0.029837,那么，nJ=0.477,5%的显著性水平下，自由度为 1 的卡方分布的临界值为 3.84。接受过度识别的矩条件为真的假设。二是检验构造的矩条件是否成立。二是检验构造的矩条件是否成立。如果矩条件不成立，就要从模型设定方面寻找原因。另外，如果对模型参数施加约束，则需要进行参数约束检验参数约束检验。一阶导)()(minarg1gWgiiJi

9、iiiiiiJezneznezngggg111)()()()(2121大数定律及中心极限定理大数定律及中心极限定理（依概率收敛）切比雪夫大数定律，伯努利大数定律，辛钦定理 独立同分布中心极限定理，Liapunov 定理，拉普拉斯极限定理 独立同分布 独立同分布 如何构造这些向量值函数.如：y=x+，x是外生变量时。这个说法有点不对。不是使 j 阶总体矩为零，而是存在 k 个矩条件。如 OLS 方法。广义矩估计广义矩估计 How?如，IV。及此页下面这个例子 经 典 矩 估计中，只取K 阶样本矩 E（XU）=0，X=X1,X3；E（U）=0；E（ZU）=0，Z=Z1,Z2 如，以下说明以某一标准

10、选择权矩阵,12ijjjiiZZCovnW 如此构造权矩阵体现了上述设置权矩阵如此构造权矩阵体现了上述设置权矩阵的原则。的原则。类似于加权最小二乘法类似于加权最小二乘法 权矩阵调整的是权矩阵调整的是 J 个矩条件之间的关系，个矩条件之间的关系，而不是而不是 n 个样本点之间的关系。个样本点之间的关系。W 应是应是*(1/n)Var(Z)-1的一致估计。的一致估计。)()(min(arg)1(1)()1(JJJJmWm 对称权矩阵是m*m阶的 W 矩阵反映了 g 的重要性 损失函数？过度识别约束检验 Y=X 3 3在 http:/ 广义矩估计 广义矩方法 经典矩方法 自由度为 m-k Hansen 的表述：的表述：