时间序列分析部分讲义中国科学研究院 安鸿志.docx

1、时间序列分析部分讲义中国科学研究院 安鸿志时间序列分析 (J.D.Hamilton)前言: 3.平稳ARMA过程(p49-78),6.谱分析(p180-202),11.向量自回归(p345-409),21.异方差时间序列模型(p799-823).3. 平稳ARMA过程3.0 概述 (认识论,方法论,历史观,发展观)什么是”回归模型”? 什么是”自回归模型”? 它们有什么联系 ?为什么用”回归”一词 ? 它们的推广模型是什么 ?它们的应用背景是什么 ?* 考虑 ”父-子身高的关系”X-父亲的身高,Y-儿子的身高,它们有关系吗? 有什么样的关系呢?不是确定的关系! 又不是没有关系!在同族中抽取n对

2、父-子的身高, 即有n对数据:(X1,Y1), (X2,Y2), , (Xn,Yn).Yk a + bXk , 1kn.Yk = a + bXk + ek , 1kn. (0.1)* 此为一元线性回归模型. ek-个体差异, 其他因素, 等等.* 如果, 如果能记录到一个父系的长子身高序列, 即X1,X2,Xn , 显然, (X1,X2),(X2,X3),(Xn-1,Xn)是(n-1)对父-子身高数据, 与(Xk,Yk)相比, 这里的 Yk = Xk+1 , k=1,2,n-1.依同样论述有Xk +1 = a + bXk + ek , 1kn. (0.2)* 此为一元线性自回归模型(自变元Yk

3、是因变元Xk的延迟)* 回归英文翻译Regression(0.2),具体说来如下:-男人平均身高. 由(0.2)得 Xk +1- = a + bXk + ek - (注意=(b-1)+b) = a +(b-1) + b(Xk -)+ ek.Wk = (Xk -)-第k代长子身高与平均身高之差,c= a +(b-1),于是有Wk+1 = c + bWk + ek. (0.3)特别人们发现: 0b1.它表明:平均说来, 当父亲身高超过平均身高时, 其子身高也会超过平均身高, 但是比父亲身高更靠近平均身高.有回归平均身高的趋向! 稳定系统!* 回归模型的推广: (线性模型)* 增加自变元个数: 比如

4、, 儿子身高不仅与父亲还与母亲, 甚至于祖父母有关, 于是(0.1)式应推广为:Yk = a + b1X1k + bpXpk +ek , 1kn. (0.4)* 此为p元线性回归模型.* 向非线性推广:仍以父-子身高的关系为例, 它们的真实关系应是比(0.1)式更一般的形式:Yk = (Xk )+ ek , 1kn. (0.5)(0.4)式 更一般的形式:Yk = (X1k,Xpk )+ ek , 1kn. (0.6) 近年来, 又引出了比(0.6)式更广的模型:Yk =(X1k,Xpk )+s(X1k,Xpk )ek ,1kn. (0.7)* 此为异方差回归模型. (0.7)式的更一般的形式

5、:Yk =(X1k,Xpk ;ek ),1kn. (0.8) 模型越复杂, 越近似真实情况, 也越难统计分析.* 应用背景:非常广泛!主要用于预报,控制,检测,管理.模型的获得方法有两类.3.1 期望,平稳性,遍历性:确切说, 是对(0.1)至(0.8)式中ek的最起码的假定, 根据这些假定就可以引出随机过程和各种模型概念, 用它们近似描述ek(本来是说不清的).而且, 对这些起码的假定, 也只是以最直观的方式, 而非严格的概率论观点, 加以介绍.* 期望和随机过程* 随机过程: X(t);-t1时.(3.3.3) (3.3.4) (3.3.5)(3.3.5)式是一阶移动平均过程的基本特征!它

6、表现为自协方差函数序列0,1,2,在1以后是截尾的, 即0,1,0,0,0,.易见, 这一特征与0和1的具体取值并不密切, 所以,可用序列的自相关函数表述.* 自相关函数: k=k/0, k=0,1, (3.3.6)这是因为k=k/0=k/01/201/2=E(Yt+k-)(Yt-)/E(Yt+k-)2E(Yt-)21/2,它是Yt+k和Yt的相关系数, 依平稳性它与t无关, 但与k有关, 所以称函数, 又因是序列自身的关系, 所以称自相关函数.* 对于(3.3.1)的一阶移动平均过程而言, 由(3.3.4)和(3.3.5)知 0=1, 1=/(1+2), 当k1,k=0. (3.3.7)可见

7、, 自相关函数在1以后全为零(截尾)是一阶移动平均过程的本质性特征!* 以上内容不难推广到* q阶移动平均过程:(MA(q)(见p58-59)模型Yt=+1t-1+qt-q+t, (3.3.8)特征k=0, k=0, 当kq. (3.3.12)即,它的自协方差函数在q步以后截尾.关于0, 1,q的具体表达式为 0=(1+12+22+q2)2, (2=Et2) (3.3.10)j=(j+j+11+j+22+qq-j)2,j=1,2,q (3.3.12)注意, 以上(3.3.10)和(3.3.10)式, 表达了0, 1,q和参数1,2,q2,2的相互依赖关系! 但是, 除非q=1,一般很难求解.

8、况且, 它们的解还有不唯一性问题, 此问题方在3.7节中解答.例2(见p59).3.4自回归过程.(自回归序列AutoRegression-AR)* 一阶自回归过程(AR(1) (相当于概述)* 实际背景:* 定义:Yt= c + Yt-1 + t , (3.4.1)其中t是白噪声序列, 而且, t与Yt-1,Yt-2,独立!所以, 在文献中, t又被称为新息序列!* 求解: 由(3.4.1)式反复迭代有: (不妨叫反复迭代法) Yt=c+Yt-1 +t =c+(c+Yt-2 +t-1)+t=c+c+2Yt-2 +t-1+t=2Yt-2+(c+c)+(t+t-1)=3Yt-3+(c+c+2c)

9、+(t+t-1+2t-2)=nYt-n+(c+c+n-1c)+(t+t-1+n-1t-n+1)(c+c+2c+)+(t+t-1+2t-2) (当n)=c/(1-)+k=0kt-k. (3.4.2)* 平稳性: 显然, 上式成立的充分必要条件是:1. 即 (-1, 1)于是有名称: 区间(-1,1)为AR(1)模型的平稳域; (3.4.2)式的解为AR(1)模型的平稳解; - AR(1)平稳序列; 它也是MA()序列(见(3.3.13)式).* 均值函数:由(3.4.2)式和Et=0,有 Yt=c/(1-)=. (3.4.3)* 自相关函数: 在(3.3.18)式, 此时j=j, j=0,1,于

10、是AR(1)的自协方差函数为 k=2j/(1-2)=j0, j=0,1, (3.4.5)AR(1)的自相关函数为 k=k/0=j, j=0,1, (3.4.6)* 模型推演方法:(不用(3.3.18)式)回顾模型AR(1)(3.4.1)式Yt=c+Yt-1 +t, 两边同取均值得=EYt=Ec+EYt-1 +Et=c+ =c/(1-).在(3.4.1)式两边同减上式 =c+ 得 (Yt-)=(Yt-1-) +t.记Wt=(Yt-), 它是Yt的中心化序列! 它满足中心化的AR(1)模型 Wt=Wt-1 +t. (3.4.1)以Wt-k(k1)同乘上式两边, 然后再同取均值得k=EWtWt-k=

11、EWt-1Wt-k+EtWt-k=k-1, k=1,2, (3.4.15)其中用到t与Wt-k独立,和Et=0,即EtWt-k=EtEWt-k=0.由此可得 k=k0.将Wt=Wt-1 +t两边平方后, 再同取均值得0=EWt2=2EWt-1 2+Et2+2EWt-1t=20+20=2/(1-2).记L为(一步)延迟算子(运算), 即Lt=t-1,L2Wt=Wt-2,等等. 于是, Wt=Wt-1 +t 可写成Wt=LWt +t 或者 Wt-LWt =t 或者 (1-L)Wt=t . (3.4.1)对上式进行形式上的代数运算可得 Wt=(1-L)-1t=k=0kLkt=k=0kt-k.其中 (

12、1-L)-1=k=0kLk (1-L)k=0kLk=1.以上推演方法, 不仅简便, 而且能推广到高阶情况!* 高阶推广:Yt=c+1Yt-1+pYt-p +t , (3.4.13)=c+1+p,Wt=1Wt-1+pWt-p +t ,记, ,.则 Wt=1Wt-1+pWt-p +t 等价于 Zt=AZt-1+U t . (*)于是, 以上对模型AR(1)的推演步骤都无困难地推广到以上p元一阶AR模型. 唯一的差别就是要用到矩阵运算. 例如, 类似于(3.4.2)式的解为 Zt=k=0A kU t-k. (*)此时(3.4.13)式具有平稳解的充分必要条件是: A 的本征值的模都小于1, (A)1

13、. (对比 1, (A)是A的谱半径)我们所说的模型推演方法暂叙到此.* 二阶AR模型:(见p64-66)(概述其难点所在)模型: Yt=c+1Yt-1 +2Yt-2+t, Wt=1Wt-1 +2Wt-2+t, (3.4.10)依前所述, 只要求得(3.4.10)式的解, 就不难获得AR(2)模型的个项特征量. 要获得(3.4.10)式的解,就等价于求Wt的(3.3.13)式中的系数j(0jq), 再取均值得E(Wt-1Wt-1-pWt-p)Wt-k=E(t+1t-1+qt-q)Wt-k即有t-1t-1 +pt-p=0, t=q+1,q+2, (3.5.5)很有趣, 虽然ARMA(p,q)序列

14、的自协方差序列不截尾, 但是它的线性组和序列t-1t-1 +pt-p确在q步后截尾. 由此既可给出此模型的判别依据, 又可找到0,1 ,p+q和参数1,2,p,1,2,q,2的依赖关系.(见第5章)3.6自协方差生成函数(谱表示)(移至第6章)3.7可逆性:* 先举两个例子,首先看Wt=t+(1/2)t-1 (*)其中t为正态白噪声,即 tN(0,2). 于是有EWt=0, EWt2=2+(1/2)22=(1+(1/4)2=(5/4)2,1=EWtWt-1=E(t+(1/2)t-1)(t-1+(1/2)t-2)=(1/2)2.再考查另一模型Zt=t+2t-1, (*)其中t为正态白噪声,即 tN(0,2/4), 即,Et2=2=2/4, 于是有EZt=0, EZt2=2+42=52=(5/4)2,1=EZtZt-1=E(t+2t-1)(t-1+2t-2)=22=(2/4)2=(1/2)2.可见序列Wt和Zt有相同的均值, 和相同的