时间序列分析方法第05章最大似然估计.docx

1、时间序列分析方法第05章最大似然估计第五章最大似然估计在本章中我们开始讨论时间序列模型的参数估计方法， 其中极大似然估计是一种最为常用的参数估计方法。我们仅仅讨论极大似然估计的原理和似然函数的推导， 而对获取极大似然估计的算法不加以详述。 5.1弓I言5.1.1 ARMA模型的极大似然估计假设数据的真实生成过程是一个 ARMA(p,q)过程，则该过程的数据生成机制为:Yt =c 2Yf ；t V ；t g其中；t是白噪声序列，满足:我们将要讨论如何利用 Yt的观测值来估计母体参数:我们将要采用的方法是极大似然估计方法， 因此需要获得似然函数的表达式。 假设获得了 T个样本(yi, y2,Yt

2、)，如果能够计算出相应的联合概率密度函数：f(Yj,YT) (yi，y2， ，yT ； )上述函数可以视为在给定参数下样本发生的概率， 因此合理的参数取值是使得上述概率最大，如此参数便称为极大似然估计。这时我们需要极大化上述联合概率密度。为此，我们假设噪声序列是高斯白噪声序列，即21 i.i.d.N(0,二2)虽然这个假设非常强， 但是在这样假设下得到的参数估计 ?,对于非Gauss过程来说也是很有意义的。具体求解极大似然估计的步骤是： 一是先求出并计算似然函数，二是求似然函数的最大值。这里涉及到一些代表性的非线性数值优化问题。 5.2高斯AR(1)过程的似然函数假设数据生成过程是一个具有高斯

3、白噪声序列的 AR(1)过程： =C * , 4亠几这时对应的参数向量为： 二(C,：二2) 。我们首先寻求联合概率分布函数，也就是这些参数对应的似然函数。(1)求上述过程似然函数的代表性过程是利用条件概率密度进行传递，所以需要先求出 Y1的概率密度。它的均值和方差为：cEY1_，EM)2血:(二2IL 2；2/(1_2)由于它具有正态分析，因此对应的密度函数为：fY1(y1； orscgw如/(i)(2)在给定Y1 =Y1的条件下，Y2的条件概率分布可以得到:丫2 Yi N(c yi),二2)对应的概率密度函数为：1 一fY2Yi(y2 I y1 ； B) ： 2 exp -.2 二-2 I

4、L(3)类似地，在给定前两个观测值的条件，1 (y3fY3,Y2(y31 y2,y1; e) ： exp.22 IL注意到上述条件概率分布中只依赖一阶滞后的条件观测值。(4)最后一个样本的条件概率分布为：1 丨(yT C - yT_1) 2 IfY3Yi,Y2,Yt 1(yT 1 yT，y2, y1 ； 9) 2 exp 厂- .2二；2 IL 22注意到上述条件概率分布中也只依赖一阶滞后的条件观测值。(5)根据无条件密度函数与条件密度函数之间的关系，可以得到:Tf YT ,YTdyT , yT,y2, y1 ； e) fY1 (y1 ； e)n fYt|Yt_L(yt 1 yt 4 ； e)

5、t=2 经常对上述函数取对数，得到对数似然函数：TL( e) =iog 彳冷(y1； e) +E iog fYjWtly;e)t=2(6)将具体的密度函数代入上式，可以得到 AR(1)过程的似然函数为：11 2 加 如c心柯2L( e) log(2二)一一log二2 心一 2) 1 2 2 -22 2ct2/(12)J2 JytCyt)2 -(T -1)/2log(2二)-(T -1)/2log；2 t 2 也tJ 2r2可以将上述似然函数表示为更为紧凑的向量和矩阵形式。 令均值向量和自协方差为 口和Q,注意到过程之间具有的自协方差函数表达形式，则有：- 1 2 Q=cr2V , V = 1*

6、1$ *21 ，1,2 1.91T 4T -2T1 一这样一来，所观测到的样本可以当作多元正态母体 N(口，0)的一个简单抽样，具有的联合概率密度函数为：f Y (y； e) (2-J 一2 | L |1/2 exp -2 (y - 口) 3(y 一口)理论上可以对上述极大似然函数求导数， 然后获得参数估计。 但是，一般情况下的导数方程是非线性方程，难以获得精确的最大值估计。 一种近似的方法是假设第一个观测值是确定性的，然后求解给定 Y)时的条件似然函数值，这时的目标函数是：log fYT； ,Y2Y1(y，y2 |y1；e)=-(T -1)/2iog(2二)-(T -1)/2 lo2_ X-

7、 (yt _C _ yt4)2 2；2上式最大值相当于求下式的最小值：上式的最小值就是线性回归的最小二乘估计，满足方程:类似地，噪声的方差为：T _1t=2当样本容量足够大时，可以证明上述近似或者条件极大似然估计具有与精确极大似然估 计一致的极限分布。 5.3高斯AR( p)过程的似然函数对于一般的高阶自回归过程：Yt 二c 、二 2Y n 一 二：pYt“ ；t， ；t i.i.d N(0,二2)此时所要估计的总体参数向量是： B二(c,2,，；2)。 似然函数的估值 Evaluating the Likelihood Function假设我们获得了 T个来自AR(p)过程的样本，假设前 p

8、个样本表示为yp =(yi, y2, ,yp)可以将这个向量当作 p维Gauss变量的一个样本。这个向量的均值表示为 口p ,它的每 个分量都是：.二 9(1 - I -)假设匚2V p是(Y1,，Yp)的协方差矩阵，则有:自回归而言:f Yp,Yp y (Yp，Yp W，Yi ； B)=(2兀)/2 V：/2 exp2：2 (y p Up)Wp1 (y p 口p) I=(2二)/2C)p/2| V J|1/2exp -(y p - 口p)V；(y p - 口p)p 2b2 p p p p p 对于样本中剩余的观测值 (yp “，yp 2 ,，yT)，我们可以使用推断误差分解 (predict

9、ionerror decomposition)，将前t _个观测值作为条件，则第t个观测值的条件分布为 Gauss分布,且均值和方差分别为：2c lyt2丫2 亠亠 Gpyt，二只有p个最近的观测值与这个分布有关，因此，对于 t p，则有：f Y Yt 丄,Yt Z，,绻(yt | yt J, yt _2/ , y1 ； fYt|Yp,Yp 丄，,Yt 卫(yt yt，yt _2，yt_p ； B)1 2一 2 2 exp | 歹72( yt-C - 1 yt J - 2yt_2- - p yt _p )因此，整个样本的似然函数为：fYrYr 上，Y, ( yT , yTJj,yT_2，y1

10、；Tf YpYp 丄,： Y ( yp，yp，yp2，y1 ； 口 YtY 丄Yp/,(yt |ytV, yt / ,yt “ ； B)t=p*则对数似然函数形式为：L ( B) = log f YtY gYp2Y11( yt | yt,yt _2 , , y1 ； B)T T 2 1 1 1 T-zt w 1严-严)严卜p=(y p-川p( y p-(yt - c - 1 yt 2丫2 p yp)为了获得上述似然函数值，我们需要获得逆矩阵 v，为此我们有下述命题:命题5.1利用vij (p)表示矩阵V的第(i, j)位置的元素，则对任意 1 j p，有:_i4 p+-jV ( P)二k k

11、j 4 二k k j 4k z0 k -p 1 -j这里0 -1。End证明：略。因为V p是对角矩阵，因此也可以得到 i J时的元素vij (p)。例如，对AR(1)过程而言，V是一个标量，取i二j二p =1，得到:-0 1 1V14 =v11(1 ； k =( 712)=(1 - 2)k =0 k #因此有:因此命题5.1确实可以重新得到 AR(1)过程的方差表达式。-(*1 神2)11-镇对于p =2的情形，禾U用命题 5.1可以得到:V 2丄二 1 - 2|-( l 2)可以计算行列式值为：I V 2 1=(1地)_屯并且有:二(力)，“2=(1 2)(1 - 2)(y1 2 1 (y

12、1 丄)(y2 * (1 - 2)(y2 ) 因此，对于Gauss条件下的AR(2)过程，确切的似然函数为:L(B) = log(2二)logL) ：log(1 2)2(1- 2)2- 122 2 2* x(1 $2)(y1卩)2$1(y1 P)(y2 門 + (1- 2)(y2卩)2.(yt C 1 yt d 2yt.2)Tt=3 2二这里： -c/(1 - 1 - 2)(2)条件极大似然估计 Conditional Maximum Likelihood Estimates由于目标函数形式比较复杂，因此对 AR(p)过程的确切极大化必须使用数值算法。与此对应，以前p个样本为条件的对数似然函数

13、具有下述简单形式：log fYT ,Yt 丄,Yp41Y 丄,Ypz，Y(yT , yT J,yp 卅1 yp, yt /，,y1 ； )T p T p 2 J (yt c 1 yt一2yt 一pyt_p)222 2 t =p 1 2-1注意到，极大化上式的参数 (c，l，2/ , -p)与极小化下式的参数选择是一致的：T- (yt c 1yt4 2yt_2 Pyt-p)t耳1因此这些参数(c, 12,-p)的条件极大似然估计是 yt基于常数和自身滞后值的普通log(2 二) log(；2) p pp1最小二乘回归估计，c2的条件极大似然估计是这个回归方程平方残差的平均值:1 T；? ( yt

14、 - ？ - ？ yt 4 -？ yt ?p yt _p )2T - p t 芒 1显然上述条件似然函数与确切似然函数相比， 缺少了初始样本的母体分布，这样就降低了样本发生的似然性，这就是条件似然函数与确切似然函数的差异。类似地，确切的极大似然估计和条件极大似然估计能够得到相同的大样本分布。(3)非 Gauss分布时间序列的极大似然估计 Maximum Likelihood Estimation forNon-Gaussian Time Series根据线性回归模型的性质，如果假设随机过程关于二阶矩是遍历的， 则我们知道普通最小二乘估计也是下面线性投影系数的一致估计 （con siste nt estimate）:呂（YtUMmYt）同时这个OLS估计也使得Gauss条件似然函数达到最大。因此，即使一个过程不是Gauss 过程，但是我们错误地将它当作 Gauss过程，并且极大化它的似然函数，则得到参数估计（? ?,也,，