时间序列分析方法第05章最大似然估计.docx
《时间序列分析方法第05章最大似然估计.docx》由会员分享，可在线阅读，更多相关《时间序列分析方法第05章最大似然估计.docx（18页珍藏版）》请在冰豆网上搜索。
时间序列分析方法第05章最大似然估计
第五章最大似然估计
在本章中我们开始讨论时间序列模型的参数估计方法，其中极大似然估计是一种最为常
用的参数估计方法。
我们仅仅讨论极大似然估计的原理和似然函数的推导，而对获取极大似
然估计的算法不加以详述。
§5.1弓I言
5.1.1ARMA模型的极大似然估计
假设数据的真实生成过程是一个ARMA（p,q）过程，则该过程的数据生成机制为:
Yt=c••2Yf…•；tV；t」％g
其中；t是白噪声序列，满足:
我们将要讨论如何利用Yt的观测值来估计母体参数:
我们将要采用的方法是极大似然估计方法，因此需要获得似然函数的表达式。
假设获得
了T个样本（yi,y2,…,Yt），如果能够计算出相应的联合概率密度函数：
f（Yj,…,YT）（yi，y2，，yT；°）
上述函数可以视为在给定参数下样本发生的概率，因此合理的参数取值是使得上述概率
最大，如此参数便称为极大似然估计。
这时我们需要极大化上述联合概率密度。
为此，我们假设噪声序列是高斯白噪声序列，即
2
1〜i.i.d.N（0,二2）
虽然这个假设非常强，但是在这样假设下得到的参数估计?
对于非Gauss过程来说也
是很有意义的。
具体求解极大似然估计的步骤是：
一是先求出并计算似然函数，二是求似然函数的最大
值。
这里涉及到一些代表性的非线性数值优化问题。
§5.2高斯AR
（1）过程的似然函数
假设数据生成过程是一个具有高斯白噪声序列的AR
（1）过程：
¥=C*,4亠几
这时对应的参数向量为：
°二（C,：
二2）•。
我们首先寻求联合概率分布函数，也就是这
些参数对应的似然函数。
（1）求上述过程似然函数的代表性过程是利用条件概率密度进行传递，所以需要先求出Y1的概率密度。
它的均值和方差为：
c
EY^1_，EM」）2
血:
⑹（二"}2
IL2；「2/（1_2）
由于它具有正态分析，因此对应的密度函数为：
fY1（y1；orscgw如//（i）
（2）在给定Y1=Y1的条件下，Y2的条件概率分布可以得到:
丫2Yi»〜N（（cyi）,二2）
对应的概率密度函数为：
1一
fY2Yi（y2Iy1；B）：
2exp-
...2二-2IL
（3）类似地，在给定前两个观测值的条件，
1''（y3
fY3^,Y2（y31y2,y1;e）：
exp
..2~~2IL
注意到上述条件概率分布中只依赖一阶滞后的条件观测值。
（4）最后一个样本的条件概率分布为：
1丨'（yT~"C-■yT_1）2I
fY3Yi,Y2,…,Yt1（yT1yT」，，y2,y1；9）2exp厂
-.2二；「2IL2「2
注意到上述条件概率分布中也只依赖一阶滞后的条件观测值。
（5）根据无条件密度函数与条件密度函数之间的关系，可以得到:
T
fYT,YTdyT,yT」,,y2,y1；e）—fY1（y1；e）nfYt|Yt_L（yt1yt4；e）
t=2''
经常对上述函数取对数，得到对数似然函数：
T
L（e）=iog彳冷（y1；e）+Eiog[fYjWtly」;e）]
t=2
（6）将具体的密度函数代入上式，可以得到AR
（1）过程的似然函数为：
112加{如―[c心—柯]}2
L（e）log（2二）一一log[二2心一2）]122-
222ct2/（1—©2）
「J
2J^yt—Cyt」）2〕-[（T-1）/2]log（2二）-[（T-1）/2]log；「2t2也
tJ2可以将上述似然函数表示为更为紧凑的向量和矩阵形式。
令均值向量和自协方差为口和
Q,注意到过程之间具有的自协方差函数表达形式，则有：
-
'1
©
©2…
Q=cr2V,V=1
*
1
$…
*2
©
1…
，1,2
■1.・・
9
1
©T4
©T-2
©T」…
1一
这样一来，所观测到的样本可以当作多元正态母体N（口，0）的一个简单抽样，具有的联
合概率密度函数为：
fY（y；e）（2-J一2|L|1/2exp-2（y-口）3（y一口）
理论上可以对上述极大似然函数求导数，然后获得参数估计。
但是，一般情况下的导数
方程是非线性方程，难以获得精确的最大值估计。
一种近似的方法是假设第一个观测值是确
定性的，然后求解给定Y）时的条件似然函数值，这时的目标函数是：
logfYT；,Y2Y1（y「，y2|y1；e）=-[（T-1）/2]iog（2二）-[（T-1）/2]lo^2
_X-（yt_C_yt4）2
—2；「2
上式最大值相当于求下式的最小值：
上式的最小值就是线性回归的最小二乘估计，满足方程:
类似地，噪声的方差为：
T_1t=2
当样本容量足够大时，可以证明上述近似或者条件极大似然估计具有与精确极大似然估计一致的极限分布。
§5.3高斯AR（p）过程的似然函数
对于一般的高阶自回归过程：
Yt二c、二2Yn一二：
pYt“；t，；t~i.i.dN（0,二2）
此时所要估计的总体参数向量是：
B二（c,」2,…，\，；「2）。
⑴似然函数的估值EvaluatingtheLikelihoodFunction
假设我们获得了T个来自AR（p）过程的样本，假设前p个样本表示为
yp=（yi,y2,,yp）
可以将这个向量当作p维Gauss变量的一个样本。
这个向量的均值表示为口p,它的每个分量都是：
.二9（1-I-…-\）
假设匚2Vp是（Y1,…，Yp）的协方差矩阵，则有:
自回归而言:
fYp,Yp’y（Yp，YpW，Yi；B）
=（2兀）」/2V：
「/2exp[—2：
2（yp—Up）Wp1（yp—口p）I
=（2二）』/2C「'）p/2|VJ|1/2exp--（yp-口p）V；（yp-口p）
p]2b2ppppp」
对于样本中剩余的观测值（yp“，yp2,…，yT），我们可以使用推断误差分解（prediction
errordecomposition），将前t_个观测值作为条件，则第t个观测值的条件分布为Gauss分布,
且均值和方差分别为：
2
clyt」「2丫2亠'亠Gpyt」，二
只有p个最近的观测值与这个分布有关，因此，对于tp，则有：
fYYt丄,YtZ，…,绻（yt|ytJ,yt_2/,y1；fYt|Yp,Yp丄，…,Yt卫（yt〔yt」，yt_2「，yt_p；B）
12
一22exp|歹72（yt-C-1ytJ-2yt_2--pyt_p）
因此，整个样本的似然函数为：
fYrYr上，…，Y,（yT,yTJj,yT_2，…，y1；
T
fYpYp丄,••：
Y（yp，yp」，yp2…，y1；口YtY丄Yp/,…,（yt|ytV,yt/,…,yt“；B）
t=p*
则对数似然函数形式为：
L（B）=logfYtYgYp2…Y11（yt|yt」,yt_2,,y1；B）
TT2111」
T
-z
tw1
「严⑺-严）严卜p=（yp-川p（yp-
（yt-c-1yt■2丫2……py^p）
为了获得上述似然函数值，我们需要获得逆矩阵v「，为此我们有下述命题:
命题5.1利用vij（p）表示矩阵V「的第（i,j）位置的元素，则对任意1_i4p+-j
V（P）二"kkj4二"kkj4
kz0k-p1-j
这里'0-1。
End
证明：
略。
因为Vp'是对角矩阵，因此也可以得到iJ时的元素vij（p）。
例如，对AR
（1）过程而言，V「是一个标量，取i二j二p=1，得到:
-011
V14=v11（1^；k\\=（7「12）=（1-'2）
k=0k#
因此有:
因此命题5.1确实可以重新得到AR
（1）过程的方差表达式。
-（*1"神2）1
1-镇
对于p=2的情形，禾U用命题5.1可以得到:
V2丄二1-2
|[-（\■'l2）
可以计算行列式值为：
IV21=（1地）[_屯
并且有:
二[（力」），“2
=（12）{（1-2）（y1~—21（y1—丄）（y2—*（1-2）（y2~■'）}
因此，对于Gauss条件下的AR
（2）过程，确切的似然函数为:
L（B）=—[log（2二）—[logL）：
log{（12）2[（1-2）2-12]}
222
—*{x{（1—$2）（y1—卩）—2$1（y1—P）（y2—門+（1-@2）（y2—卩）}
2
[.（ytC1ytd2yt.2）
T~
t=32二
这里：
」•-c/（1-1-2）
（2）条件极大似然估计ConditionalMaximumLikelihoodEstimates
由于目标函数形式比较复杂，因此对AR（p）过程的确切极大化必须使用数值算法。
与
此对应，以前p个样本为条件的对数似然函数具有下述简单形式：
logfYT,Yt丄,…Yp41Y丄,Ypz，…Y（yT,yTJ,…,yp卅1yp,yt/，…,y1；°）
T—pT—p2J（yt—c—®1yt」一©2yt<—…一®pyt_p）2
2
22t=p12-1
注意到，极大化上式的参数（c，l，'2/',-p）与极小化下式的参数选择是一致的：
T
■-（yt~c~1yt42yt_2Pyt-p）
t耳1
因此这些参数（c,1「2,…,-p）的条件极大似然估计是yt基于常数和自身滞后值的普通
log（2二）log（；「2）—'pp
p」1
最小二乘回归估计，c2的条件极大似然估计是这个回归方程平方残差的平均值:
1T
；?
（yt-？
-？
yt4-？
yt€?
pyt_p）2
T-pt芒1
显然上述条件似然函数与确切似然函数相比，缺少了初始样本的母体分布，这样就降低
了样本发生的似然性，这就是条件似然函数与确切似然函数的差异。
类似地，确切的极大似然估计和条件极大似然估计能够得到相同的大样本分布。
（3）非Gauss分布时间序列的极大似然估计MaximumLikelihoodEstimationfor
Non-GaussianTimeSeries
根据线性回归模型的性质，如果假设随机过程关于二阶矩是遍历的，则我们知道普通最
小二乘估计也是下面线性投影系数的一致估计（consistentestimate）:
呂（YtUMmYt』）
同时这个OLS估计也使得Gauss条件似然函数达到最大。
因此，即使一个过程不是Gauss过程，但是我们错误地将它当作Gauss过程，并且极大化它的似然函数，则得到参数估计
（?
?
也,…，
升级会员 