第三章平稳时间序列分析.docx

1、第三章平稳时间序列分析第3章 一个序列经过预处理被识别为平稳非白噪声序列，那就说明该序列是一个蕴含着相关信息的平稳序列。 3.1 方法性工具 3.1.1 差分运算 一、p阶差分 记为的1阶差分： 记为的2阶差分： 以此类推：记为的p阶差分： 二、k步差分 记为的k步差分： 3.1.2 延迟算子 一、定义 延迟算子相当与一个时间指针，当前序列值乘以一个延迟算子，就相当于把当前序列值的时间向过去拨了一个时刻。记B为延迟算子，有 延迟算子的性质： 1. 2.若c为任一常数，有 3.对任意俩个序列和，有 4. 5. 二、用延迟算子表示差分运算 1、p阶差分 2、k步差分 3.2 ARMA模型的性质 3

2、.2.1 AR模型 定义 具有如下结构的模型称为p阶自回归模型，简记为AR(p): (3.4) AR(p)模型有三个限制条件： 条件一：。这个限制条件保证了模型的最高阶数为p。 条件二：。这个限制条件实际上是要求随机干扰序列为零均值白噪声序列。 条件三：。这个限制条件说明当期的随机干扰与过去的序列值无关。 通常把AR(p)模型简记为： (3.5) 当时，自回归模型式(3.4)又称为中心化AR(p)模型。非中心化AR(p)序列可以通过下面变化中心化AR(p)系列。 令 则为的中心化序列。 AR(p)模型又可以记为： ，其中称为p阶自回归系数多项式 二、AR模型平稳性判断 P45【例3.1】 考察

3、如下四个AR模型的平稳性： 拟合这四个序列的序列值，并会绘制时序图，发现(1)(3)模型平稳，(2)(4)模型非平稳 1、特征根判别 任一个中心化AR(p)模型都可以视为一个非齐次线性差分方程。 则其齐次线性方程的特征方程为： 设为齐次线性方程的p个特征根。所以 AR(p)模型平稳的充要条件是它的p个特征根都在单位圆内。 同时等价于：AR模型的自回归系数多项式的根，即的根，都在单位圆外。 证明：设为齐次线性方程的p个特征根，任取，带入特征方程： 把带入中，有 根据这个性质，可以因子分解成：， 于是可以得到非其次线性方程的一个特解： 2、平稳域判别 使得特征方程的所有特征根都在单位圆内的系数集合

4、 被称为AR(p)模型的平稳域。 (1)AR(1)模型的平稳域 AR(1)模型为：，其特征方程为：，特征根为：。则AR（1）模型平稳的充要条件是,则AR(1)模型的平稳域是 (2)AR(2)模型的平稳域 AR(2)模型为：。其特征方程为：，特征根为：。则AR（2）模型平稳的充要条件是：，从而有： 因此可以导出： 所以 AR(2)模型的平稳域： 【例3.1续】 分别用特征根判别法和平稳域判别法检验如下四个AR模型的平稳性： 其中 模型特征根判别平稳域判别结论1)平稳2)非平稳3)平稳4)非平稳三、平稳AR模型的统计性质 1、均值 假如AR(p)满足了平稳性条件，于是 (3.12) 由平稳序列均值

5、为常数的性质得：，因为，所以 (3.12)等价于 特别对于中心化AR(p)模型有。 2、方差 (1)Green函数。设为平稳AR(p)模型的特征根，则平稳AR(p)模型可以写成： (3.13) 其中，系数称为Green函数。 记，则(3.13)简记为： (3.14) 再将(3.14)带入AR(p)模型中，得到 Green函数的递推公式为： 其中 (2)平稳AR模型的方差。对平稳AR模型两边就方差，有 由于，这说明平稳序列方差有界，等于常数 【例3.2】求平稳AR(1)模型的方差。 AR(1)模型： Green函数为：， 所以平稳AR(1)模型的方差为： 3、协方差函数 在平稳模型等号两边同时乘

6、，再求期望，得 又由，可以得到自协方差函数的递推公式： (3.17) 【例3.3】求平稳AR(1)模型的自协方差函数。 平稳AR(1)模型的自协方差函数的递推公式是： 又由【例3.2】知，所以平稳AR(1)模型的自协方差函数的递推公式是： 【例3.4】求平稳AR(2)模型的自协方差函数。 求平稳AR(2)模型的自协方差函数的递推公式为：， 特别地，当k=1时，有，即 利用Green函数可以推出AR(2)模型的协方差： 所以平稳AR(2)模型的协方差函数的推导公式为： 4、自相关系数 (1)平稳AR模型自相关系数的推导公式。由于，式 (3.17)两边同时除以，可以得到自相关系数的推导公式： 平稳

7、AR(1)模型的自相关系数推导公式： 平稳AR(2)模型的自相关系数推导公式： (2)自相关系数的性质。平稳AR模型自相关系数有连个显著的特性： 一、拖尾性 二、呈负指数衰减 5、偏自相关系数 (1)偏自相关系数的定义。 定义 3.3 对于平稳序列，所谓滞后k偏自相关系数就是指在给定中间k-1个随机变量条件下，或者在剔除中间k-1个随机变量的干扰后，的影响的相关度量。 (2)偏自相关系数的计算。 对于平稳序列，用过去的k期序列值对作k阶自回归拟合，即 (3.12) 式中，。在式(3.12)两边同时乘，并求期望，得 ， 取前k个方程构成的方程组： 该方程组成为YuleWalker方程。用矩阵表达

8、 (3.27) 则，其中 D为式 (3.27)的行列式，为把D中第k个列向量换成(3.27)等号右边的自相关系数响亮后构成的行列式。 (3)偏自相关系数的截尾性。 平稳的AR(p)模型的偏自相关系数具有p步截尾性。指，只要当kp时，。 AR(1)模型的偏自相关系数为： AR(2)模型的偏自相关系数为： 3.2.2 MA模型 一、定义 定义 3.4 具有如下结构的模型称为q阶移动平均(moving average)模型，简记为MA(q): (3.32) 使用MA(q)模型需要满足两个限制条件： 条件一：，这个限制条件保证了模型的最高阶数为q。 条件二：，即随机干扰项为零均值白噪声序列 通常把MA

9、(q)模型简记为： (3.33) 当时，模型 (3.33)称为中心化MA(q)模型，而对非中心化模型只需做一个简单的位移，就可以转化证中心化MA(q)模型。 使用延迟算子，中心化MA(q)模型又简记为： ， 式中，称为q阶移动平均系数多项式。 二、MA模型的统计性质 1、常数均值 当时，MA(q)模型具有常数均值： 如果该模型为中心化MA(q)模型，则该模型均值为零。 2、常熟方差 3、自协方差函数只与滞后阶数相关，且q阶截尾 = 4、自相关系数q阶截尾 MA(1)模型的自相关系数为 MA(2)模型的自相关系数为 5、偏自相关系数拖尾 (1)当时，MA(q)模型一定为平稳模型。 (2)MA(q

10、)模型的偏自相关系数拖尾，自相关系数q阶截尾。 三、MA模型的可逆性 为了保证一个给定的自相关函数能够对应唯一的MA模型，我们就要给模型增加约束条件。这个约束条件称为MA模型的可逆性条件。 (1)可逆的定义 MA(1)模型具有如下结构式，他们的自相关系数正好相等： 模型1： 模型2： 把这两个MA(1)模型表示成两个自相关模型形式： 模型1： 模型2： 显然，时，模型1收敛，而模型2不收敛；时，模型1不收敛，而模型2收敛。若一个MA模型能够表示成收敛的AR模型形式，那么该MA模型则称为可逆模型。一个自相关系数唯一对应一个可逆MA模型。 (2)MA(q)模型的可逆性条件。 MA(q)模型可以表示

11、为： (3.34) 式中，称为q阶移动平均系数多项式。 假定是该系数多项式的q个根，则可以分解成： (3.35) 把(3.35)式带入(3.34)，得 (3.36) 式(3.36)收敛的充要条件是：，等价于MA(q)模型的系数多项式的根都在单位圆外，。这个条件称为MA(q)模型的可逆性条件。 3、逆函数的推导公式 如果一个MA(q)模型满足可逆性条件，它就可以写成如下两种等价形式： 把(b)式带入(a)式，得 , 由待定系数法可以得到逆函数的推导公式： 式中， ， P64【例3.6续】考虑【例3.6】中的四个MA模型的可逆性，并写出可逆MA模型的逆转形势。 4、MA模型偏自相关系数拖尾 MA(

12、q)模型延迟k阶偏自相关系数为： ，由于不会恒等于零，所以MA(q)模型偏自相关系数拖尾。 3.2.3 ARMA模型 一、定义 定义3.5 把具有如下结构的模型称为自回归移动平均模型，简记为ARMA(p,q): (3.38) 若，该模型称为中心化ARMA(p,q)模型。 中心化ARMA(p,q)模型可以简记为： (3.10) 引入延迟算子后，中心化ARMA(p,q)模型又可以表示为： 式中， 显然，当 二、平稳条件与可逆条件 对于一个ARMA(p,q)模型，容易推导出ARMA(p,q)模型的平稳条件是：的根都在单位圆外。ARMA(p,q)模型可逆的条件是：的根都在单位圆外。 即，当的根都在单位

13、圆外是，称ARMA(p,q)模型为平稳可逆模型。 三、传递形式与逆转形式 对于一个平稳可逆ARMA(p,q)模型，它的传递形式为： 式中，为Green函数。可以得到ARMA(p,q)模型下的Green函数的推导公式为： 可以得到ARMA(p,q)模型的逆转形式为： 式中，为逆函数。可以得到ARMA(p,q)模型下的逆函数的推导公式为： 其中， 四、ARMA(p,q)模型的统计性质 1、均值 对于一个非中心化平稳可逆的ARMA(p,q)模型： 两边同时求均值： 2、自协方差函数 3、自相关系数 考察AR(p)、 MA(q) 、ARMA(p,q)模型的自相关系数和偏自相关系数，可以总结出 模型自相

14、关系数偏自相关系数AR(p)拖尾p阶截尾MA(q) q阶截尾拖尾ARMA(p,q)拖尾拖尾3.3 平稳时间序列 3.3.1 时间序列建模的一般步骤 怎样判断平稳性？ 什么是平稳性？ 这里指宽平稳。如果序列满足下列条件，则称为是平稳的。 性质3的一个推论是，对，记为，称为延迟为的自相关系数 平稳性的直观含义是“序列的前二阶矩不随时间的推移而改变”，这使得我们可以把不同时间点的数据放在一起作统计推断. 观察时序图 根据平稳性的定义，平稳序列具有常数均值和常数方差的性质，因此其时序图应该在一个常数值附近波动，且波动的范围有界； 具有明显趋势性和周期性的序列通常不是平稳序列； 例如： 自相关图检验 平

15、稳序列通常只具有短期的自相关，即自相关函数(ACF) 往往很快的衰减到零。因此衰减很慢的序列很可能是非平稳的。 例如前面三个例子里面对应的自相关图分别如下： 怎样做白噪声检验？ 什么是白噪声？ 如果序列满足，则称为白噪声序列(White Noise),记为 如果还服从正态分布，则称为高斯白噪声。 白噪声是纯随机序列，它具有性质， 因此我们可以通过检验下列假设来检验序列是否是白噪声 检验统计量为LB(Ljung-Box)统计量 在原假设成立的条件下，LB近似服从自由度为m的卡方分布时拒绝原假设。 注：为什么只需要检验前6期，12期或者前18期的自相关呢？这是因为一个平稳序列通常只存在短期的自相关

16、，如果短期之间都不存在显著的自相关，则更长期的延迟之间就更不会存在自相关了；相反的，如果存在显著的短期自相关，则该序列必然不是白噪声； 怎样计算自相关系数和偏自相关系数？ 样本自相关系数(SACF) 样本偏自相关系数(SPACF) 其中， 怎样识别模型？ 所谓的模型识别就是选取是适当的p,q,也就是模型定阶； ARMA模型的理论ACF和理论PACF 理论上讲，我们可以根据上述特点确定模型的阶，但在实际操作中具有下列障碍 a) SACF,SPACF不会出现理论上的完美截尾情况；本应截尾的SACF和SPACF仍会出现小值震荡的情况； b) 平稳序列通常只具有短期相关性，当k足够大是，SACF和SP

17、ACF总会衰减到零值附近做小值震荡。 什么时候认为？ 由于近似服从标准正态分布，因此当时， 于是有 因此，当SACF落在2倍标准差的范围内是，我们认为； 怎样判断截尾还是拖尾？ 如果有SACF在最初的d阶明显大于2倍标准差，而后几乎95%的SACF都落在2倍标准差内，且这种过程很突然，则可以视为是“截尾”； 反之，如果超过5%的SACF都落在2倍标准差范围之外，或者SACF衰减到零的过程比较缓慢连续，则通常不是截尾； 例如： 【例2.5】1950-1980年北京那个城乡居民定期储蓄的占比 定期储蓄占比时序图 因此，我们可以考虑用如下的AR(1)模型来拟合该数据 【例3.8】 对美国科罗拉多州某

18、一加油站连续57天的OVERSHORT序列建模 因此，我们可以选取如下的MA(1)模型来对该数据建模 【例3.9】 对1880-1985年全球气表平均温度改变值差分序列(原数据不平稳，已经做过平稳化处理了) 原数据的时序图 差分后的时序图 上面的SACF和SPACF均没有明显的截尾性，因此我们可以考虑用ARMA模型来拟合，ARMA(1,1)模型： 3.3.4 怎样估计未知参数？ 主要有两种方法：极大似然估计喝最小二乘估计。 对于下列一般的ARMA(p,q)模型， 其中， 的估计 由于是序列的均值，因此我们用样本均值来估计它， 我们需要估计下列参数 共计未知参数； 极大似然估计 似然原则：样本来

19、自使得该样本出现概率最大的总体 方法：找出样本的联合密度函数(即似然函数)，找使得该函数达到最大的参数值 记 假设服从多元正态分布MVN(0,)，则似然函数为 然后对上式求最大值得; 最小二乘估计 最小化下面的准则 条件最小二乘法 实际中用得最多的是所谓的条件最小二乘法，它的想法如下： 回顾ARMA模型的逆转形式：，我们假设， 则条件最小乘法最小化下列准则： 在SAS软件里，只需要在ARIMA过程里面添加如下语句即可自动得到未知参数的估计 Estimate p=*,q=*; 【例2.5续】1950-1998年北京市城乡居民定期储蓄比例 estimate p=1 method=ml; estim

20、ate p=1; 极大似然估计的结果如下 条件最小二乘估计的结果如下 因此估计的模型为 【例3.8续】美国科罗拉多州某加油站连续57天的OVERSHORT数据 estimate q=1 method=ml; estimate q=1; 极大似然估计的结果如下： 条件最小二乘估计的结果如下： 因此，估计得到的模型为 【例3.9续】1980-1985年全球气表平均温度改变差分值序列 estimate p=1 q=1; estimate p=1 q=1 method=ml; 极大似然估计的结果如下： 条件最下二乘估计的结果如下： 因此，所得的模型为 模型的有效性检验 模型的有效性是看模型是否充分地从

21、数据中提取了信息，因此在这里，一个有效的好的模型应该几乎提取了数据中所有的信息，使得剩下的残差中不再蕴含任何相关信息，即残差应该是纯随机的序列，即白噪声序列。这样的模型才是显著的有效的模型。 因此，在拟合模型之后我们要对残差做白噪声检验，如果检验结果显示残差非白噪声，则说明模型不够有效，还需要选择其它的模型； 在SAS里面，estimate过程中会自动报告残差的白噪声检验结果； 【例3.8续】美国科罗拉多州某加油站连续57天的OVERSHORT数据 结果说明MA(1)模型有效； 【例3.9续】1980-1985年全球气表平均温度改变差分值序列: 结果显示ARMA(1,1)模型有效； 对该数据，

22、观察其ACF图像，如果认为ACF1阶截尾，我们拟合MA(1)模型，发现残差检验结果如下： 这表明用MA(1)模型来拟合该数据是不充分的，是非有效的。 3.3.6 模型的优化 当一个拟合的模型通过了残差检验，说明了在一定的置信水平下，该模型是有效的，但是这种有效的模型并不一定唯一，因此我们需要通过模型优化来从备选的有效模型里面选一个“最好”的模型； 例如： 【例3.13】取等时间间隔，读取某次化学反应的70个过程数据，构成一个时间序列；现在要对该序列建模. SACF的图像显示2阶截尾，因此我们可以尝试拟合MA(2)模型 结果如下： 显示MA(2)模型有效，且模型的形式为： 但是，另一方面，观察S

23、PACF图像，我们发现PACF1阶截尾，因此我们也可以选取AR(1)模型拟合的结果如下： 这说明AR(1)模型也是有效的，且模型的形式为： AIC准则 模型的准确度 参数估计的准确度 参数个数越多，模型可选的范围广，模型越准确，但是随着参数的增加，估计的难度越来越大，估计的精度越来越低，一个好的模型应该在上述两方面达到均衡。 AIC=-2log(模型的极大似然函数值)+2(模型中的为参数个数) 上述准则达到最小化的模型即为最优模型； 例如前面例子里面： MA(2) AIC=536.4556 AR(1) AIC=535.7896 因此，在AIC准则下，AR(1)相对模型最优 AIC准则的缺点：选

24、择出的模型通常比真实模型所含的未知参数个数要多； BIC/SBC准则 BIC/SBC=-2log(模型的极大似然函数值)+log(n)*(模型中的为参数个数)MA(2) SBC=543.2 AR(1) SBC=540.3 因此AR(1)模型相对最优； 3.4 序列预测 所谓预测就是要利用序列以观测到的样本值对序列在未来某个时候的取值进行估计。最常用的预测方法是线性最小方差预测。线性是指预测值为观察值序列的线性函数，最小方差是指预测方差达到最小。 3.4.1 线性预测函数 根据ARMA(p,q) 模型的平稳性和可逆性，可以用传递形式和可逆形式描述该模型： (3.49) (3.50) 式中，是Green函数值，为逆转函数值。把式(3.50)代入(3.49)，有 显然是历史数据的线性函数。不妨简记为： 对于未来任意时刻的序列值最终可以表示成已知历史信息的线性函数，并用该函数形式估计的值： 也称为序列的第步预测值。 3.4.2 预测方差最小原则