时间序列分析部分讲义中国科学研究院安鸿志Word格式文档下载.docx
《时间序列分析部分讲义中国科学研究院安鸿志Word格式文档下载.docx》由会员分享,可在线阅读,更多相关《时间序列分析部分讲义中国科学研究院安鸿志Word格式文档下载.docx(16页珍藏版)》请在冰豆网上搜索。
Wk=(Xk-μ)---第k代长子身高与平均身高之差,
c=a+(b-1)μ,
于是有
Wk+1=c+bWk+ek.(0.3)
特别人们发现:
0<
b<
1.它表明:
平均说来,当父亲身高超过平均身高时,
其子身高也会超过平均身高,
但是比父亲身高更靠近平均身高.
有回归平均身高的趋向!
稳定系统!
*回归模型的推广:
(线性模型)
*增加自变元个数:
比如,儿子身高不仅与父亲还与母亲,甚至于祖父母
有关,于是(0.1)式应推广为:
Yk=a+b1X1k+…+bpXpk+ek,1≤k≤n.(0.4)
*此为p元线性回归模型.
*向非线性推广:
仍以父-子身高的关系为例,它们的真实关系应是比
(0.1)式更一般的形式:
Yk=ϕ(Xk)+ek,1≤k≤n.(0.5)
(0.4)式更一般的形式:
Yk=ϕ(X1k,…,Xpk)+ek,1≤k≤n.(0.6)
近年来,又引出了比(0.6)式更广的模型:
Yk=ϕ(X1k,…,Xpk)+s(X1k,…,Xpk)ek,1≤k≤n.(0.7)
*此为异方差回归模型.
(0.7)式的更一般的形式:
Yk=ψ(X1k,…,Xpk;
ek),1≤k≤n.(0.8)
模型越复杂,越近似真实情况,也越难统计分析.
*应用背景:
非常广泛!
主要用于预报,控制,检测,管理.
模型的获得方法有两类.
3.1期望,平稳性,遍历性:
确切说,是对(0.1)至(0.8)式中{ek}的最起码的假定,根据这些假定就可以引出随机过程和各种模型概念,用它们近似描述{ek}(本来是说不清的).而且,对这些起码的假定,也只是以最直观的方式,而非严格的概率论观点,加以介绍.
*期望和随机过程
*随机过程:
{X(t);
-∞<
t<
∞},其中X(t)是随机变量.
*随机序列:
{Xk;
k=…,-1,0,1,…},其中Xk是随机变量.
特别当Xk=X(kh)时,序列{Xk}是过程{X(t)}的等间隔采样序列.
回忆随机变量X和它的样本的定义,我们有:
*样本序列:
{…,x-1,x0,x1,…}是序列{Xk}的一个样本序列,
又称为一个实现,又称为一个观测序列,等等.
请注意:
随机变量X的一个样本,就是一个数;
随机向量X的一个样本,就是一个向量数;
随机序列{Xk}的一个样本,是一个无穷数列;
在实际应用中,我们无法记录无穷数列,从而在讨论随机序列{Xk}的样本时,只能考虑一个样本的有限部分,比如
{x1,x2,…,xn}是序列{Xk}的一段观测值序列.
在理论讨论时,为了方便又不得不涉及无穷数列.这些都是学习和掌握时间序列分析时,首先要认清的起点.
**序列的分布:
回忆随机变量X的定义便知,它的特征被它的概率分布所确定.同样,随机序列也被它的概率分布所确定.不过,随机序列的分布是无穷个随机变量的概率分布,其复杂性可以想得到.这里为了避免涉及太深的概率论概念,我们仅考虑最简单的特疏情况,即
Xk~N(μk,σ2k),它有密度
fk(x)=(2πσ2k)-1/2exp{(x-μk)2/2σ2k}
而且(Xk+1,Xk+2,…,Xk+m)有联合正态分布.于是有:
*期望(均值):
EXk=⎰xfk(x)dx=μk,
*方差:
Var(Xk)=E(Xk-μk)2=⎰(x-μk)2fk(x)dx=σ2k.
*自协方差:
γkj=E[(Xk-μk)(Xj-μj)]=⎰⎰(x-μk)(y-μj)fkj(x,y)dxdy
=E[(Xj-μj)(Xk-μk)]=γjk.
回忆二元随机变量X和Y的协方差定义便可理解上式.
*平稳序列:
一类重要的特疏随机序列.
弱平稳序列:
如果μk=μ;
γkj=γk-j=γj-k.
严平稳序列:
如果(Xk+1,Xk+2,…,Xk+m)的分布与k无关!
正态平稳序列:
弱平稳序列≅严平稳序列!
**遍历性:
一个重要性质—-时间序列统计分析的基础.
(与大数是律有关)
(1/n)∑k=1nXk→EXk=⎰xfk(x)dx=μk,当n→∞.
(1/n)∑k=1ng(Xk)→Eg(Xk)=⎰g(x)fk(x)dx,当n→∞.
3.2白噪声序列:
什么是?
为什么叫?
有什么用?
它是基楚性的随机序列,具体来说,{…,ε-1,ε0,…}是相互独立相同分布的随机变量序列,且均值为零,方差为σ2.(常用i.i.d.{εt}表示)
Eεt=0,Eεt2=σ2,Eεtεs=0,(t≠s)
(3.2.1)(3.2.2)(3.2.3)
因为,当t≠s时
γts=E[(εt-Eεt)(εs-Eεs)]=Eεtεs=EεtEεs=0=γt-s.
为什么叫白噪声序列,在讲谱分析更能看清.
它有什么用呢?
可以说,很多很多的随机序列都是通过白噪声序列的变化生成的!
*请看几个例子:
例1.Yt=a+bt+εt,(确定函数+白噪声)
μt=EYt=E(a+bt+εt)=a+bt+Eεt==a+bt,
γkj=E[(Yk-EYk)(Yj-EYj)]=Eεkεj=EεkEεj=0,(j≠k)
γkk=E(Yk-EYk)2=Eεk2=σ2.
例2.Yt=εt+a1εt-1+a2εt-2,(白噪声延迟的线性和)
例3.Yt=εtεt-1,(白噪声⨯白噪声延迟)
例4.Yt=εt/(1+εt-12).(白噪声+白噪声延迟的函数)
●一个有趣的问题:
是否用白噪声序列能生成所有的
平稳序列?
(回答是,不能!
)
3.3移动平均过程(滑动平均序列
—MovingAverage-MA)
*移动平均过程定义的由来---概述:
设{εk}为白噪声序列,顾名思义,滑动平均序列是:
Yt=(εt+εt-1+…+εt-m+1)/m,t=…,-1,0,1,…
推而广之
Yt=(θ0εt+θ1εt-1+…+θmεt-m+1)/(θ0+θ1+…+θm),
更广之
Yt=μ+θ1εt-1+…+θmεt-m+1+εt,(3.3.8)
或
Yt=μ+∑i=0∞ψiεt-i.(线性序列)(3.3.13)
Yt=μ+∑i=-∞∞ψiεt-i.(线性序列,非现实)
*移动平均过程的特征:
*均值函数:
EYt=μ+∑i=0∞ψiEεt-i=μ.(ByEεt-i=0)(*)
*自协方差函数:
γkj=E[(Yk-μ)(Yj-μ)](用上式)
=E[∑i=0∞ψiεk-i∑i=0∞ψiεj-i]
=E[∑i=0∞∑s=0∞ψiψsεk-iεj-s]
=∑i=0∞∑s=0∞ψiψsEεk-iεj-s(ByEεk-iεj-s=0,ifk-i≠j-s)
=∑i=0∞ψiψi+|k-j|Eε12(ByEε12=σ2)
=σ2∑i=0∞ψiψi+|k-j|=γk-j.(3.3.18)*
可见,(3.3.13)式的{Yt}是平稳序列.特别当{εk}为正态白噪声序列时,{Yt}也是正态平稳序列.
还特别指出:
为保证(3.3.18)式可求和,要求
∑i=0∞ψi2<
∞.(3.3.14)
或者更强的要求
∑i=0∞|ψi|<
∞.(3.3.15)
由此式可导出
∑i=0∞|γi|<
∞.(3.3.19)
此式能保证序列{Yt}具有遍历性.
*一阶移动平均过程(MA
(1))
Yt=μ+θεt-1+εt,(3.3.1)
相当于(3.3.13)式中的ψ0=1,ψ1=θ,其它ψi=0.以此代入(*)和(3.3.13)式则有
EYt=μ,(3.3.2)
γ0=σ2(1+θ2),γ1=γ-1=σ2θ,γi=0,当|i|>
1时.
(3.3.3)(3.3.4)(3.3.5)
(3.3.5)式是一阶移动平均过程的基本特征!
它表现为
自协方差函数序列{γ0,γ1,γ2,…},
在1以后是截尾的,即{γ0,γ1,0,0,0,…}.
易见,这一特征与γ0和γ1的具体取值并不密切,所以,可用序列的自相关函数表述.
*自相关函数:
ρk=γk/γ0,k=0,1,…(3.3.6)
这是因为
ρk=γk/γ0=γk/γ01/2γ01/2=
E[(Yt+k-μ)(Yt-μ)]/{E(Yt+k-μ)2E(Yt-μ)2}1/2,
它是Yt+k和Yt的相关系数,依平稳性它与t无关,但与k有关,所以称函数,又因是序列自身的关系,所以称自相关函数.
*对于(3.3.1)的一阶移动平均过程而言,由(3.3.4)和(3.3.5)知
ρ0=1,ρ1=θ/(1+θ2),当k>
1,ρk=0.(3.3.7)
可见,自相关函数在1以后全为零(截尾)是一阶移动平均过程的本质性特征!
*以上内容不难推广到
*q阶移动平均过程:
(MA(q))(见p58-59)
模型
Yt=μ+θ1εt-1+…+θqεt-q+εt,(3.3.8)
特征
γk=0,ρk=0,当k>
q.(3.3.12)
即,它的自协方差函数在q步以后截尾.
关于γ0,γ1,…,γq的具体表达式为
γ0=(1+θ12+θ22+…+θq2)σ2,(σ2=Eεt2)(3.3.10)
γj=(θj+θj+1θ1+θj+2θ2+…+θqθq-j)σ2,j=1,2,…,q(3.3.12)
注意,以上(3.3.10)和(3.3.10)式,表达了γ0,γ1,…,γq
和参数θ1,θ2,…,θq2,σ2的相互依赖关系!
但是,除非q=1,一般很难求解.况且,它们的解还有不唯一性问题,此问题方在3.7节中解答.
例2(见p59).
3.4自回归过程.(自回归序列—AutoRegression--AR)
*一阶自回归过程(AR
(1))(相当于概述)
*实际背景:
*定义:
Yt=c+φYt-1+εt,(3.4.1)
其中{εt}是白噪声序列,而且,εt与{Yt-1,Yt-2,…}独立!
所以,在文献中,{εt}又被称为新息序列!
*求解:
由(3.4.1)式反复迭代有:
(不妨叫反复迭代法)
Yt=c+φYt-1+εt
=c+φ(c+φYt-2+εt-1)+εt
=c+φc+φ2Yt-2+φεt-1+εt
=φ2Yt-2+(c+φc)+(εt+φεt-1)
=φ3Yt-3+(c+φc+φ2c)+(εt+φεt-1+φ2εt-2)
=…
=φnYt-n+(c+φc+…+φn-1c)+(εt+φεt-1+…+φn-1εt-n+1)
→(c+φc+φ2c+…)+(εt+φεt-1+φ2εt-2…)(当n→∞)
=c/(1-φ)+∑k=0∞φkεt-k.(3.4.2)
*平稳性:
显然,上式成立的充分必要条件是:
|φ|<
1.即φ∈(-1,1)
于是有名称:
区间(-1,1)为AR
(1)模型的平稳域;
(3.4.2)式的解为AR
(1)模型的平稳解;
---AR
(1)平稳序列;
它也是MA(∞)序列(见(3.3.13)式).
由(3.4.2)式和Eεt=0,有
Yt=c/(1-φ)=μ.(3.4.3)
在(3.3.18)式,此时
ψj=φj,j=0,1,…
于是AR
(1)的自协方差函数为
γk=σ2φj/(1-φ2)=φjγ0,j=0,1,…(3.4.5)
AR
(1)的自相关函数为
ρk=γk/γ0=φj,j=0,1,…(3.4.6)
*模型推演方法:
(不用(3.3.18)式)
回顾模型AR
(1)(3.4.1)式
Yt=c+φYt-1+εt,两边同取均值得
μ=EYt=Ec+φEYt-1+Eεt=c+φμ⇒μ=c/(1-φ).
在(3.4.1)式两边同减上式μ=c+φμ得
(Yt-μ)=φ(Yt-1-μ)+εt.
记Wt=(Yt-μ),它是{Yt}的中心化序列!
它满足中心化的AR
(1)模型
Wt=φWt-1+εt.(3.4.1)’
以Wt-k(k≥1)同乘上式两边,然后再同取均值得
γk=EWtWt-k=φEWt-1Wt-k+EεtWt-k=φγk-1,k=1,2,…(3.4.15)
其中用到εt与Wt-k独立,和Eεt=0,即EεtWt-k=EεtEWt-k=0.由此可得γk=φkγ0.将Wt=φWt-1+εt两边平方后,再同取均值得
γ0=EWt2=φ2EWt-12+Eεt2+2φEWt-1εt=φ2γ0+σ2⇒γ0=σ2/(1-φ2).
记L为(一步)延迟算子(运算),即Lεt=εt-1,L2Wt=Wt-2,等等.于是,Wt=φWt-1+εt可写成
Wt=φLWt+εt或者Wt-φLWt=εt或者
(1-φL)Wt=εt.(3.4.1)’’
对上式进行形式上的代数运算可得
Wt=(1-φL)-1εt=∑k=0∞φkLkεt=∑k=0∞φkεt-k.
其中
(1-φL)-1=∑k=0∞φkLk⇔(1-φL)∑k=0∞φkLk=1.
以上推演方法,不仅简便,而且能推广到高阶情况!
*高阶推广:
Yt=c+φ1Yt-1+…+φpYt-p+εt,(3.4.13)
μ=c+φ1μ+…+φpμ,
Wt=φ1Wt-1+…+φpWt-p+εt,
记
.
则Wt=φ1Wt-1+…+φpWt-p+εt等价于
Zt=AZt-1+Uεt.(*)
于是,以上对模型AR
(1)的推演步骤都无困难地推广到以上p元一阶AR模型.唯一的差别就是要用到矩阵运算.例如,类似于(3.4.2)式的解为
Zt=∑k=0∞AkUεt-k.(*)
此时(3.4.13)式具有平稳解的充分必要条件是:
A的本征值的模都小于1,
ρ(A)<
1.(对比|φ|<
1,ρ(A)是A的谱半径)
我们所说的模型推演方法暂叙到此.
*二阶AR模型:
(见p64-66)(概述其难点所在)
模型:
Yt=c+φ1Yt-1+φ2Yt-2+εt,
Wt=φ1Wt-1+φ2Wt-2+εt,(3.4.10)
依前所述,只要求得(3.4.10)式的解,就不难获得AR
(2)模型的个项特征量.要获得(3.4.10)式的解,就等价于求
{Wt}的(3.3.13)式中的系数ψj(0≤j<
∞).如上所述,我们有两种方法:
一是用(3.4.10)式反复迭法;
(仿(3.4.2)式)
一是算子的代数运算法;
(求二元一阶AR模型的解)
说实话,都不简单!
为什么?
请看
若用(3.4.10)式反复迭法,则有
Wt=φ1Wt-1+φ2Wt-2+εt=εt+φ1(φ1Wt-2+φ2Wt-3+εt-1)+φ2Wt-2
=εt+φ1εt-1+(φ12+φ2)Wt-2+φ1φ2Wt-3=…
以下难于寻找εt-2,εt-3,…的系数的表示法.(难于寻找规律)
若用算子的代数运算求解(3.4.10)式,此时
Zt=
A=
在用(*)式求Zt的表达式时,要求出Ak(k=1,2,…),同样难于寻找规律!
究其根源在于:
此时(3.4.10)式可写为
Wt-φ1Wt-1-φ2Wt-2=εt,(3.4.10)’
记Φ(L)=1-φ1L-φ2L2,则(3.4.10)式又可写为
Φ(L)Wt=εt,(3.4.10)’’
于是有解
Wt=Φ-1(L)εt=∑j=0∞ψjεt-j(=Yt-μ=Yt-cΦ-1
(1))
Φ-1(L)=∑i=0∞ψiLj⇔Φ(L)=∑i=0∞ψiLj=1
式中的系数ψj与Φ(x)=0的根有关,而且只有当
Φ(x)=0的根都在单位圆外,即Φ(x)≠0,对|x|<
1.(3.4.18)
(3.4.10)式才有平稳解!
而且,一般难于给出ψj的显示表达式!
对Ak而言也如此!
注意AR
(1)时只有一个实根;
AR
(2)时可能有两个不同的实根,有一个的实的双重根,有两个不同的但是共轭的复根.
对于注重应用者,更关心自协方差函数,请看:
将Wt=φ1Wt-1+φ2Wt-2+εt两边同乘Wt-k,再求均值可得
EWtWt-k=φ1EWt-1Wt-k+φ2EWt-2Wt-k+EεtWt-k
注意,对于k≥1时,EεtWt-k=EεtEWt-k=0,于是有
γk=φ1γk-1+φ2γk-2,k≥1,或者(3.4.25)
γk-φ1γk-1-φ2γk-2=0,k≥1.(3.4.25)’
当k=0时,将Wt=φ1Wt-1+φ2Wt-2+εt两边同乘Wt,再求均值得
EWtWt=φ1EWt-1Wt+φ2EWt-2Wt+EεtWt
=φ1γ1+φ2γ2+Eεt(φ1Wt-1+φ2Wt-2+εt)
=φ1γ1+φ2γ2+φ1EεtWt-1+φ2EεtWt-2+Eεt2(ByEεtWt-j=0,j≥1)
=φ1γ1+φ2γ2+σ2.(3.4.29)
至此我们得到了(3.4.29)式和(3.4.25)式.人们已注意到,(3.4.25)式也是二阶差分方程,也难得显示解.但是我们不关心它的解,而关心γ0,γ1,γ2和参数φ1,φ2,σ2的相互依赖关系!
至于γ3,γ4,…,它们被γ0,γ1,γ2(或φ1,φ2,σ2)唯一确定,而且不被关注.进一步而言,(3.4.29)式和(3.4.25)式中取k=1,2就唯一确定了γ0,γ1,γ2和参数φ1,φ2,σ2的相互依赖关系!
现写下这三个方程:
γ0=φ1γ1+φ2γ2+σ2,
γ1=φ1γ0+φ2γ1,
γ2=φ1γ1+φ2γ0.
将γ0同除以上后两式的
ρ1=φ1+φ2ρ1,(3.4.27)
ρ2=φ1ρ1+φ2.(3.4.28)
由此不难解出ρ1,ρ2与φ1,φ2的关系.其实,我们更关心φ1,φ2对ρ1,ρ2的依赖关系!
注意,(3.4.27)和(3.4.28)式联合起来,称为(AR
(2)的)Yule-Walker方程.
*p阶AR模型:
(见p66-68)
Yt=c+φ1Yt-1+…+φpYt-p+εt,(3.4.31)
记Wt=Yt-μ=Yt-c/(1-φ1-…-φp),
Wt=φ1Wt-1+…+φpWt-p+εt,(3.4.31)’
Wt-φ1Wt-1-…-φpWt-p=εt,
Φ(L)Wt=εt,
Φ(L)=1-φ1L-…-φpLp.
平稳条件:
1.(3.4.32)
Y-W方程:
ρt=φ1ρt-1+…+φpρt-p,t=1,2,…(3.4.37)
若记φ=(φ1,φ2,…,φp)τ,ρ=(ρ1,ρ2,…,ρp)τ,再记
R=
则由(3.4.37)式可得
Rφ=ρ.(3.4.37)’
有解
φ=R-1ρ.(3.4.37)’’
**偏相关函数:
若将(3.4.37)’中的p用k代替,并记相应的记号为
φ(k)=(φ1k,φ2k,…,φkk)τ,ρ(k)=(ρ1,ρ2,…,ρk)τ和R(k),则有
φ(k)=R-1(k)ρ(k),k=1,2,…(3.4.37)*
序列{φkk:
k=1,2,…}为偏相关函数列.
请注意,ρk是Wt+k和Wt的相关系数,而φkk是在已知Wt+1,Wt+2,…,Wt+k-1条件下,Wt+k和Wt的相关系数.粗略地说,在扣除Wt+1,Wt+2,…,Wt+k-1的影响后,Wt+k和Wt的相关系数.
可以证明,对于平稳AR(p)序列而言,偏相关函数列在p以后都为零,也称截尾,即
{φkk:
k=1,2,…}={φ11,φ22,…,φpp,0,0,…}.(*)
3.5自回归滑动平均过程:
(ARMA(p,q))
讨论ARMA(p,q)模型时,用多元化的方法并不方便,常用的方法是延迟算子的方法.具体如下:
*ARMA(p,q)模型:
Yt=c+φ1Yt-1+…+φpYt-p+θ1εt-1+…+θqεt-q+εt.(3.5.1)
Yt-φ1Yt-1-…-φpYt-p=c+εt+θ1εt-1+…+θqεt-q
Φ(L)=1-φ1L-…-φpLp;
Θ(L)=1+θ1L+…+θqLq;
于是(3.5.1)式可写成
Φ(L)Yt=c+Θ(L)εt,(3.5.2)
上式有解
Yt=Φ-1(L)c+Φ-1(L)Θ(L)εt,
=μ+ψ(L)εt.
μ=c/(1-φ1-…-φp)(书中有此式,但无编号)
=cΦ-1
(1)
ψ(L)εt=Φ-1(L)Θ(L)εt=(∑k=0∞ϕkLk)Θ(L)εt
=∑k=0∞ψkLkεt=∑k=0∞ψkεt-k=Wt.
于是(3.5.1)(或(3.5.2))有解
Yt=μ+Wt=μ+∑k=0∞ψkεt-k.(*)
中心化的ARMA模型为
Φ(L)Wt=Θ(L)εt,(3.5.2)’
Wt=Φ-1(L)Θ(L)εt.
关于ARMA(p,q)模型的特性,能说些什么呢?
它的自相关函数和偏相关函数都不截尾,