平稳平稳时间序列模型的建立.docx
《平稳平稳时间序列模型的建立.docx》由会员分享，可在线阅读，更多相关《平稳平稳时间序列模型的建立.docx（18页珍藏版）》请在冰豆网上搜索。
平稳平稳时间序列模型的建立
【关键字】平稳
第四章平稳时间序列模型的建立
本章讨论平稳时间序列的建模问题，也就是从观测到的有限样本数据出发，通过模型的识别、模型的定阶、参数估计和诊断校验等步骤，建立起适合的序列模型。
学习重点为模型的识别和模型的检验。
第一节模型识别
1、识别依据
模型识别主要是依据SACF和SPACF的拖尾性与截尾性来完成。
常见的一些ARMA类型的SACF和SPACF的统计特征在下表中列出，可供建模时，进行对照选择。
表ARIMA过程与其自相关函数偏自相关函数特征
模型
自相关函数特征
偏自相关函数特征
ARIMA（1,1,1）
∆xt=ϕ1∆xt-1+ut+θ1ut-1
缓慢地线性衰减
AR
（1）
xt=ϕ1xt-1+ut
若ϕ1>0，平滑地指数衰减
若ϕ1<0，正负交替地指数衰减
若ϕ11>0，k=1时有正峰值然后截尾
若ϕ11<0，k=1时有负峰值然后截尾
MA
（1）
xt=ut+θ1ut-1
若θ1>0，k=1时有正峰值然后截尾
若θ1<0，k=1时有负峰值然后截尾
若θ1>0，交替式指数衰减
若θ1<0，负的平滑式指数衰减
AR
（2）
xt=ϕ1xt-1+ϕ2xt-2+ut
指数或正弦衰减
（两个特征根为实根）
（两个特征根为共轭复根）
k=1,2时有两个峰值然后截尾
（ϕ1>0，ϕ2>0）
（ϕ1>0，ϕ2<0）
MA
（2）
xt=ut+θ1ut-1+θ2ut-2
k=1,2有两个峰值然后截尾
（θ1>0，θ2<0）
（θ1>0，θ2>0）
指数或正弦衰减
（θ1>0，θ2<0）
（θ1>0，θ2>0）
ARMA（1，1）
xt=ϕ1xt-1+ut+θ1ut-1
k=1有峰值然后按指数衰减
（ϕ1>0，θ1>0）
（ϕ1>0，θ1<0）
k=1有峰值然后按指数衰减
（ϕ1>0，θ1>0）
（ϕ1>0，θ1<0）
ARMA（2，1）
xt=ϕ1xt-1+ϕ2xt-2+ut+θ1ut-1
k=1有峰值然后按指数或正弦衰减
（ϕ1>0，ϕ2<0，θ1>0）
k=1,2有两个峰值然后按指数衰减
（ϕ1>0，ϕ2<0，θ1>0）
ARMA（1，2）
xt=ϕ1xt-1+ut+θ1ut-1+θ2ut-2
k=1,2有两个峰值然后按指数衰减
（ϕ1>0，θ1>0，θ2<0）
（ϕ1>0，θ1>0，θ2>0）
k=1有峰值然后按指数或正弦衰减
（ϕ1>0，θ1>0，θ2<0）
（ϕ1>0，θ1>0，θ2>0）
ARMA（2，2）
xt=ϕ1xt-1+ϕ2xt-2+ut+θ1ut-1+θ2ut-2
k=1,2有两个峰值然后按指数或正弦衰减
（ϕ1>0，ϕ2<0，θ1>0，θ2<0）
（ϕ1>0，ϕ2<0，θ1>0，θ2>0）
k=1,2有两个峰值然后按指数或正弦衰减
（ϕ1>0，ϕ2<0，θ1>0，θ2<0）
（ϕ1>0，ϕ2<0，θ1>0，θ2>0）
2、拖尾性与截尾性的判定
理论上，对于MA（q）过程，其自相关函数在q步之后全部为零，实际上并非如此，因为为样本数据的估计值。
同样地，偏自相关函数也存在类似的问题。
判定在m步之后截尾的做法是：
实际判断时，以频率代概率。
判定在n步之后截尾的做法是：
实际判断时，以频率代概率。
拖尾：
即被负指数控制收敛于零。
3、实例
【例4-1】现有磨轮资料250个，试判断该数据的零均值及平稳性。
1．时间序列趋势图
2．零均值化后的图形
3．ACF与PACF图形
ACF
PACF
第二节模型定阶
1、残差方差图法
基本思想：
以AR模型为例。
对于时间序列，如果其合理（真正的）阶数为p，当我们用一个小于p的值为阶数去拟合它，所得到的剩余平方和必然偏大，将比真正模型的大。
原因在于它把模型中原本有的一些高阶项给省略了，而这些项的存在对减小残差的方差是有明显贡献的。
反之，如果我们用一个大于p的值作为阶数去拟合它（过度拟合），虽然剩余平方和减少，但已不明显，这时可能还会增大。
因此，我们可以用一系列阶数逐渐递增的模型对进行拟合，每次都求出，作出阶数n和残差方差的图形，进行判断。
这种方法直观简单，但没有量的准则，具有主观性。
2、自相关函数（ACF）和偏自相关函数（PACF）定阶法
它们不仅可以用来识别模型，而且还可以用来确定模型的阶。
3、F检验定阶法
基本思想：
首先用ARMA（n,m）对进行过度拟合，再令为零，用F检验判定阶数降低之后的模型ARMA（n-1,m-1）与ARMA（n,m）之间是否存在显著性差异。
如果有显著性差异，阶数能够升高；如果没有差异，阶数可以降低。
4、最佳准则函数定阶法
最佳准则函数法，是构造一个准则函数，该函数既要考虑用某一模型对原始数据拟合的接近程度（残差的大小），同时又要考虑模型中所含待定参数的个数。
建模时，根据函数的取值确定模型优劣，使准则函数值达到最小的模型是最佳模型。
准则函数法是日本学者赤池弘次（Akaike）最先提出。
主要有FPE准则，AIC准则，BIC准则，SC准则。
1．FPE准则
基本思想：
根据模型的预报误差来判断自返回模型的阶数是否恰当，合理的阶数应该能够使得模型的最终预报误差最小。
基本理论：
对于模型，时间序列的一步预报误差的方差为：
，而是的无偏估计，于是
（1）
（1）中第一个因子，随着阶数的增加而增加；第二个因子随着阶数的增加而减少。
因此它实质上就是一个最佳准则函数。
该最佳准则函数还可写成：
基本操作：
按照从低阶到高阶的方式建立AR模型，并计算出相应的FPE的值，从中选择最小的FPE对应的n作为模型的阶，即。
2．AIC准则（AkaikeInformationCriterion）
基本思想：
建立模型时，根据准则函数取值来判断模型的优劣，使准则函数达到极小的是最佳模型，该准则是在模型极大似然估计的基础上建立起来的。
基本理论：
最小信息准则AIC函数的一般形式：
（2）
在
（2）式中“模型极大似然度”一般用似然函数表示，设样本长度N充分大时，ARMA模型得到近似极大似然估计的对数似然函数为：
（3）
由于（3）中第二项与模型及参数个数无关，可以舍弃。
于是得到采用ARMA（n,m）模型拟合的AIC准则函数：
（4）
使得AIC信息量取值最小的n和m，即是模型理想的阶。
由（4）可以看出AIC信息量由两部分构成：
前一部分体现模型的拟合好坏，后一部分表明模型参数的多少。
显然我们希望模型拟合得越精确真好，但过高的精度要求又会导致参数的增多及模型的复杂，可能反而影响模型的拟合效果，因此，实质上，它就是对拟合精度和参数个数二者加以适当权重。
可以想象，当模型中参数个数K由少至多增加时，拟合误差改进显著，（4）中第一项起主要作用，AIC明显下降；随着模型阶数增加，模型拟合残差改进甚微，AIC上升。
AIC的最小值处对应着最佳模型的阶数。
3．BIC准则
AIC准则为时间序列模型定阶带来了许多方便，但AIC准则也有不足之处。
从理论上已证明了AIC准则不能给出模型阶数的相容估计，即当样本趋于无穷大时，由AIC准则选择的模型阶数不能收敛到其真值（通常比真值高）。
Akaike于1976年提出了BIC准则弥补了AIC准则的不足。
定义：
，其中K是模型的自由参数个数，对于ARMA（n,m）模型，。
从理论上已证明，BIC准则确定的模型阶数是真实阶数的相容估计。
若，则是要选择的最佳阶数。
注：
①
与
的关系见图，用AIC准则往往比用BIC准则确定的阶数高。
②我们还可以定义其它类型的准则函数，如
（5）
其中C是选定的常数。
定义不同的准则函数是为了对拟合残差与参数个数之间进行不同的权衡，以体现使用者对于二者重要性的不同侧重。
当然，对于同一数据序列使用不同准则挑选的最优模型不同，其渐近性质也不同。
③在实际问题中，相应于不同阶数的准则函数值往往不是理想的下凸函数，而是总的趋势符合下凸函数变化规律，同时有随机起伏，有时可能出现准则函数下降到某值后，没有明显的增长趋势，而是随机的起伏摆动。
遇到这种情形，如果适当地增大（5）中常数系数C的值，可以使准则函数在后一段有明显的增长趋势。
5、实例
【例4-2】沿用例4-1中的数据，进行模型的定阶。
第三节参数估计
1、矩估计
1．自回归模型的参数估计：
采用YULE-WALK方程
（1）
2．移动平均模型的参数估计：
（2）
（1）直接解法
（2）线性迭代法
（3）牛顿-拉普森算法
3．自回归移动平均模型的参数估计：
将模型分成两个部分，先对AR部分应用YULE-WALK方程，计算得到剩余序列，对剩余序列应用MA模型的参数估计方法。
2、最小二乘估计（LS）
1．线性最小二乘估计
2．非线性最小二乘估计：
高斯-牛顿法；最速下降法；
3、极大似然估计（ML）
对于时间序列模型，一般采用极大似然法估计参数。
对于一组相互独立的随机变量xt,（t=1,2,…,T），当得到一个样本（x1,x2,…,xT）时，似然函数可表示为
L（γ|x1,x2,…,xT）=f（x1|γ）f（x2|γ）…f（xT|γ）=
|γ）
（1）
其中γ=（γ1,γ2,…,γk）是一组未知参数。
对数似然函数是
logL=
f（xt|γ）,
通过选择γ使上式达到最大，从而求的极大似然估计值
。
具体步骤是用上述对数似然函数对每个未知参数求偏导数并令其为零，即
=0,
:
=0,（k个方程联立）
一般来说似然函数是非线性的，必须采用迭代计算的方法求参数的极大似然估计值。
极大似然估计量（MLE）具有一致性和渐近有效性。
现在讨论怎样对时间序列模型的参数进行极大似然估计。
对于非平稳过程yt，假定经过d次差分之后可以表达为一个平稳、可逆的自回归移动平均过程xt，
Φ（L）∆dyt=Φ（L）xt=Θ（L）ut.
（2）
对于yt假定可以观测到T+d个观测值，即y-d+1,…,y0,y1,…,yT，则经过d次差分之后，xt的样本容量为T。
以{x1,…,xT}为样本估计ARMA（p,q）模型参数（φ1,…,φp,θ1,…,θq）。
对随机过程{xt}的参数估计就如对回归模型的参数估计一样，目的是使xt与其拟合值
的残差平方和
=
.
最小。
把
（2）式改写为
ut=
.（3）
若用
，
和
分别表示对φi,θi和ut的估计，则使下式最小。
=S（
…,
…,
）（4）
假定ut~N（0,σu2）,t=1,…T，且不存在自相关，则条件对数似然函数为
logL=-Tlogσu-
（5）
之所以称之为条件对数似然函数是因为
依赖于过去的不可知观测值x0,x-1,…,x-p+1和u0,u-1,…,u-q+1。
比如
u1=x1-φ1x0-φ2x-1-…-φpx-p+1-θ1u0-…-θqu-q+1.（6）
对（5）式求极大即等同于对
求极小。
对
求极小时需要先确定x0,x–1,…,x-p+1和u0,u-1,…,u-q+1的值。
此问题的一般处理方法是取这些变量等于他们的无条件期望值。
u0,u-1,…,u-q+1的无条件期望值为零。
若模型
（2）中不含有漂移项，则x0,x-1,…,x-p+1的无条件期望值也为零。
当样本容量T与滞后长度p,q值相比充分大，且φ1,…,φp的值不接近1时，这种近似非常理想。
若
（2）式中不含有移动平均项，对于自回归参数来说（3）式是一个线性函数。
可以用OLS法估计参数。
如果
（2）式中含有移动平均项，那么对于移动平均参数来说，（3）式是一个非线性函数。
对（3）式必须采用非线性估计方法。
首先假定模型为纯自回归形式，
Φ（L）xt=ut（7）
或
xt=φ1xt-1+…+φpxt-p+ut.（8）
这是一个线性回归模型，极大似然估计与OLS估计结果近似相同。
当模型中含有移动平均成分时
ut=Θ-1（L）Φ（L）xt（9）
对于参数来说，模型是非线性的。
对于非线性模型，通常由三种估计方法。
⑴直接搜索法。
通过改变参数的取值，反复计算残差平方和
的值。
然后从中选择最小的那个值所对应的参数值作为对参数的估计值。
这种方法只有在参数个数较少时才是可行的。
当参数个数较多时，计算量将非常大。
例如当含有四个被估参数，每个参数需选择20个计算值时，则需要计算（20）4=160000次。
⑵直接优化法。
求误差平方和函数对每一个参数的偏导数并令其为零，从而求得正规方程
=0,i=1,…,p+q（10）
其中（γ1,…,γp+q）=（φ1,…,φp,θ1,…,θq）。
因为p+q个方程中都含有p+q个参数，所以必须联立求解。
由于计算上的困难，这种方法很少直接采用。
⑶线性迭代法。
对任何非线性函数通常都可以按泰勒级数展开。
f（x）=f（x0）+f‘（x0）（x–x0）+…=f（x0）-f‘（x0）x0+f‘（x0）x+…
首先为参数选一组初始值（γ1,0,…,γp+q,0）（下标零表示初始值。
怎样确定初始值并不重要。
），然后将xt=f（xt-1,…,xt-p）按泰勒级数在（γ1,0,…,γp+q,0）点展开。
xt=f（xt-1,…,xt-p,γ1,0,…,γp+q,0）+
+
+….（11）
其中偏导数的下标写为零表示偏导数在γ1=γ1,0,…,γp+q=γp+q,0时的值。
取上式右侧的前两项对原非线性函数xt进行近似。
去掉右侧第三项及以后各项得
xt-f（xt-1,…,xt-p,γ1,0,…,γp+q,0）+
=
+ut.（12）
上式为线性回归方程形式。
左侧为已知量，右侧含有一组未知量γi,i=1,…,p+q。
利用OLS法对上式进行估计。
设所得估计值用（γ1,1,…,γp+q,1）表示。
以此作为第二组估计值，对非线性函数再一次线性化，从而得到一个新的线性方程。
xt-f（xt-1,…,xt-p,γ1,1,…,γp+q,1）+
=
+ut.（13）
对上式再次应用OLS法估计参数，并把（γ1,2,…,γp+q,2）作为待估参数的第三组估计值。
重复上述过程，直至满足如下要求为止。
<δ,i=1,…,p+q,（14）
其中i表示参数序号，j表示迭代次数。
δ是预先给定的精度标准。
如果最后一次的参数估计值用（γ1,k,…,γp+q,k）表示，并且（γ1,k,…,γp+q,k）接近真值（γ1,…,γp+q），则必有，
≈
所以有
xt=f（xt-1,…,xt-p,γ1,k,…,γp+q,k）+
（γ1,k,…,γp+q,k）是对（γ1,…,γp+q）的最终估计。
这种迭代计算一般都是通过计算机完成。
评价线性模型的一些统计量例F,t等都不能直接用于评价非线性模型。
原因是尽管ut是正态分布的且均值为零，但残差
=xt-
=xt-f（xt-1,…,xt-p,γ1,k,…,γp+q,k）（15）
不服从正态分布，则
不服从χ2分布，参数估计量不服从正态分布。
所以不能使用
F和t检验。
然而对迭代中的最后一步可以进行F,t检验。
如果估计量
=γi,k,（i=1,…,p+q），接近真值γi，那么F,t检验将会对非线性模型有很满意的解释作用。
结论：
在三种估计方法中，其中矩估计的计算量最小，但精度较差，只适宜作粗估计；最小二乘估计与极大似然估计精度较好，但计算量都较大，前者利用非线性回归迭代求解，后者的计算更复杂。
因此在实践中使用最多的是最小二乘估计。
§6诊断与检验
完成模型的识别与参数估计后，应对估计结果进行诊断与检验，以求发现所选用的模型是否合适。
若不合适，应该知道下一步作何种修改。
这一阶段主要检验拟合的模型是否合适。
一是检验模型参数的估计值是否具有显著性；二是检验残差序列的随机性。
参数估计值的显著性检验是通过t检验完成的，而模型拟合的优劣以及残差序列随机性的判别可按下列方法进行：
1、散点图法（SCATTERPLOT）
作
对
和
对
的散点图，进行独立性分析；
2、相关系数法（CORRELATION）
估计相关系数法：
计算和
对
的相关函数及
的自相关函数；
3、F检验法（F-TEST）
F检验法：
把
的独立性检验问题转化成模型拟合是否充分的问题，从而可以利用前面所介绍的F-统计量进行有关的检验问题；
4、卡方检验法（
F-TEST）
是用Box-Pierce（1970）提出的Q统计量进行检验完成的。
将
的自相关函数记为
，自协方差函数记为
，则
（1）
（2）
可以证明，当N很大时，
并且这k个量近似为相互独立的正态分布，于是检验序列
的独立性问题转化为检验
（3）
式中，
，
假设
，则在原假设成立的条件下，有
（4）
若拟合的模型合适，统计量
Q=N
（5）
近似服从χ2（K-p-q）分布，其中N表示样本容量，rk表示用残差序列计算的自相关系数值，K表示自相关系数的个数，p表示模型自回归部分的最大滞后值，q表示移动平均部分的最大滞后值。
这时的零假设（H0）是“残差序列是白噪声过程”。
用残差序列计算Q统计量的值。
显然若拟合的模型不合适，残差序列中必含有其他成份，Q值将很大，反之Q值将很小。
判别规则是：
若Q<χ2α（K-p-q），则接受H0。
若Q>χ2α（K-p-q），则拒绝H0。
其中α表示检验水平。
残差序列的独立正态性还可以用下列原则来检验：
按照
原则应该有
即检验这
个
的绝对值是否有95.5%个小于2，若有，则
独立；否则，可判定
不独立。
5、实例
【例4-3】某市1985-1994年各月工业生产总值。
以1985-1993年数据建模，1994年数据留作检验模型的预测效果。
第一步：
零均值化与平稳化
第二步：
模型识别
大致可以将模型识别为AR类。
第三步：
模型定阶
AR
（1）或AR
（2）
第四步：
参数估计
第五步：
诊断检验
【例4-4】某车站1993-1997年各的列车运行数量共60个数据，试建立其时间序列模型。
第一步：
零均值化与平稳化
水平序列显然是不平稳的，对水平序列作一阶差分，得到差分序列是平稳的，并且也是零均值的。
，
第二步：
模型识别
SPACF呈现出拖尾性，SACF呈现出截尾性，大致可以将模型识别为MA类。
第三步：
模型定阶
可以验证SACF呈现出3阶截尾性，因而可以初步识别为MA（3）。
第四步：
参数估计
第五步：
诊断检验
【本章思考题】1．对于零均值化的处理方式；
2．如何进行模型的识别与定阶，最佳准则函数的构造考虑了哪两点；
3．模型的适应性检验包括哪些内容；
4．时间序列模型建立的过程；
【作业】P125：
3、5
此文档是由网络收集并进行重新排版整理.word可编辑版本！
升级会员 