*随机序列:
{Xk;k=…,-1,0,1,…},其中Xk是随机变量.
特别当Xk=X（kh）时,序列{Xk}是过程{X（t）}的等间隔采样序列.
回忆随机变量X和它的样本的定义,我们有:
*样本序列:
{…,x-1,x0,x1,…}是序列{Xk}的一个样本序列,
又称为一个实现,又称为一个观测序列,等等.
请注意:
随机变量X的一个样本,就是一个数;
随机向量X的一个样本,就是一个向量数;
随机序列{Xk}的一个样本,是一个无穷数列;
在实际应用中,我们无法记录无穷数列,从而在讨论随机序列{Xk}的样本时,只能考虑一个样本的有限部分,比如
{x1,x2,…,xn}是序列{Xk}的一段观测值序列.
在理论讨论时,为了方便又不得不涉及无穷数列.这些都是学习和掌握时间序列分析时,首先要认清的起点.
**序列的分布:
回忆随机变量X的定义便知,它的特征被它的概率分布所确定.同样,随机序列也被它的概率分布所确定.不过,随机序列的分布是无穷个随机变量的概率分布,其复杂性可以想得到.这里为了避免涉及太深的概率论概念,我们仅考虑最简单的特疏情况,即
XkN（k,2k）,它有密度
fk（x）=（22k）-1/2exp{（x-k）2/22k}
而且（Xk+1,Xk+2,…,Xk+m）有联合正态分布.于是有:
*期望（均值）:
EXk=xfk（x）dx=k,
*方差:
Var（Xk）=E（Xk-k）2=（x-k）2fk（x）dx=2k.
*自协方差:
kj=E[（Xk-k）（Xj-j）]=（x-k）（y-j）fkj（x,y）dxdy
=E[（Xj-j）（Xk-k）]=jk.
回忆二元随机变量X和Y的协方差定义便可理解上式.
*平稳序列:
一类重要的特疏随机序列.
弱平稳序列:
如果k=;kj=k-j=j-k.
严平稳序列:
如果（Xk+1,Xk+2,…,Xk+m）的分布与k无关!
正态平稳序列:
弱平稳序列严平稳序列!
**遍历性:
一个重要性质—-时间序列统计分析的基础.
（与大数是律有关）
（1/n）k=1nXkEXk=xfk（x）dx=k,当n.
（1/n）k=1ng（Xk）Eg（Xk）=g（x）fk（x）dx,当n.
3.2白噪声序列:
什么是?
为什么叫?
有什么用?
它是基楚性的随机序列,具体来说,{…,-1,0,…}是相互独立相同分布的随机变量序列,且均值为零,方差为2.（常用i.i.d.{t}表示）
Et=0,Et2=2,Ets=0,（ts）
（3.2.1）（3.2.2）（3.2.3）
因为,当ts时
ts=E[（t-Et）（s-Es）]=Ets=EtEs=0=t-s.
为什么叫白噪声序列,在讲谱分析更能看清.
它有什么用呢?
可以说,很多很多的随机序列都是通过白噪声序列的变化生成的!
*请看几个例子:
例1.Yt=a+bt+t,（确定函数+白噪声）
t=EYt=E（a+bt+t）=a+bt+Et==a+bt,
kj=E[（Yk-EYk）（Yj-EYj）]=Ekj=EkEj=0,（jk）
kk=E（Yk-EYk）2=Ek2=2.
例2.Yt=t+a1t-1+a2t-2,（白噪声延迟的线性和）
例3.Yt=tt-1,（白噪声白噪声延迟）
例4.Yt=t/（1+t-12）.（白噪声+白噪声延迟的函数）
●一个有趣的问题:
是否用白噪声序列能生成所有的
平稳序列?
（回答是,不能!
）
3.3移动平均过程（滑动平均序列
—MovingAverage-MA）
*移动平均过程定义的由来---概述:
设{k}为白噪声序列,顾名思义,滑动平均序列是:
Yt=（t+t-1+…+t-m+1）/m,t=…,-1,0,1,…
推而广之
Yt=（0t+1t-1+…+mt-m+1）/（0+1+…+m）,
更广之
Yt=+1t-1+…+mt-m+1+t,（3.3.8）
或
Yt=+i=0it-i.（线性序列）（3.3.13）
Yt=+i=-it-i.（线性序列,非现实）
*移动平均过程的特征:
*均值函数:
EYt=+i=0iEt-i=.（ByEt-i=0）（*）
*自协方差函数:
kj=E[（Yk-）（Yj-）]（用上式）
=E[i=0ik-ii=0ij-i]
=E[i=0s=0isk-ij-s]
=i=0s=0isEk-ij-s（ByEk-ij-s=0,ifk-ij-s）
=i=0ii+k-jE12（ByE12=2）
=2i=0ii+k-j=k-j.（3.3.18）*
可见,（3.3.13）式的{Yt}是平稳序列.特别当{k}为正态白噪声序列时,{Yt}也是正态平稳序列.
还特别指出:
为保证（3.3.18）式可求和,要求
i=0i2.（3.3.14）
或者更强的要求
i=0i.（3.3.15）
由此式可导出
i=0i.（3.3.19）
此式能保证序列{Yt}具有遍历性.
*一阶移动平均过程（MA
（1））
Yt=+t-1+t,（3.3.1）
相当于（3.3.13）式中的0=1,1=,其它i=0.以此代入（*）和（3.3.13）式则有
EYt=,（3.3.2）
0=2（1+2）,1=-1=2,i=0,当i>1时.
（3.3.3）（3.3.4）（3.3.5）
（3.3.5）式是一阶移动平均过程的基本特征!
它表现为
自协方差函数序列{0,1,2,…},
在1以后是截尾的,即{0,1,0,0,0,…}.
易见,这一特征与0和1的具体取值并不密切,所以,可用序列的自相关函数表述.
*自相关函数:
k=k/0,k=0,1,…（3.3.6）
这是因为
k=k/0=k/01/201/2=
E[（Yt+k-）（Yt-）]/{E（Yt+k-）2E（Yt-）2}1/2,
它是Yt+k和Yt的相关系数,依平稳性它与t无关,但与k有关,所以称函数,又因是序列自身的关系,所以称自相关函数.
*对于（3.3.1）的一阶移动平均过程而言,由（3.3.4）和（3.3.5）知
0=1,1=/（1+2）,当k>1,k=0.（3.3.7）
可见,自相关函数在1以后全为零（截尾）是一阶移动平均过程的本质性特征!
*以上内容不难推广到
*q阶移动平均过程:
（MA（q））（见p58-59）
模型
Yt=+1t-1+…+qt-q+t,（3.3.8）
特征
k=0,k=0,当k>q.（3.3.12）
即,它的自协方差函数在q步以后截尾.
关于0,1,…,q的具体表达式为
0=（1+12+22+…+q2）2,（2=Et2）（3.3.10）
j=（j+j+11+j+22+…+qq-j）2,j=1,2,…,q（3.3.12）
注意,以上（3.3.10）和（3.3.10）式,表达了0,1,…,q
和参数1,2,…,q2,2的相互依赖关系!
但是,除非q=1,一般很难求解.况且,它们的解还有不唯一性问题,此问题方在3.7节中解答.
例2（见p59）.
3.4自回归过程.（自回归序列—AutoRegression--AR）
*一阶自回归过程（AR
（1））（相当于概述）
*实际背景:
*定义:
Yt=c+Yt-1+t,（3.4.1）
其中{t}是白噪声序列,而且,t与{Yt-1,Yt-2,…}独立!
所以,在文献中,{t}又被称为新息序列!
*求解:
由（3.4.1）式反复迭代有:
（不妨叫反复迭代法）
Yt=c+Yt-1+t
=c+（c+Yt-2+t-1）+t
=c+c+2Yt-2+t-1+t
=2Yt-2+（c+c）+（t+t-1）
=3Yt-3+（c+c+2c）+（t+t-1+2t-2）
=…
=nYt-n+（c+c+…+n-1c）+（t+t-1+…+n-1t-n+1）
（c+c+2c+…）+（t+t-1+2t-2…）（当n）
=c/（1-）+k=0kt-k.（3.4.2）
*平稳性:
显然,上式成立的充分必要条件是:
<1.即（-1,1）
于是有名称:
区间（-1,1）为AR
（1）模型的平稳域;
（3.4.2）式的解为AR
（1）模型的平稳解;
---AR
（1）平稳序列;
它也是MA（）序列（见（3.3.13）式）.
*均值函数:
由（3.4.2）式和Et=0,有
Yt=c/（1-）=.（3.4.3）
*自相关函数:
在（3.3.18）式,此时
j=j,j=0,1,…
于是AR
（1）的自协方差函数为
k=2j/（1-2）=j0,j=0,1,…（3.4.5）
AR
（1）的自相关函数为
k=k/0=j,j=0,1,…（3.4.6）
*模型推演方法:
（不用（3.3.18）式）
回顾模型AR
（1）（3.4.1）式
Yt=c+Yt-1+t,两边同取均值得
=EYt=Ec+EYt-1+Et=c+=c/（1-）.
在（3.4.1）式两边同减上式=c+得
（Yt-）=（Yt-1-）+t.
记Wt=（Yt-）,它是{Yt}的中心化序列!
它满足中心化的AR
（1）模型
Wt=Wt-1+t.（3.4.1）’
以Wt-k（k1）同乘上式两边,然后再同取均值得
k=EWtWt-k=EWt-1Wt-k+EtWt-k=k-1,k=1,2,…（3.4.15）
其中用到t与Wt-k独立,和Et=0,即EtWt-k=EtEWt-k=0.由此可得k=k0.将Wt=Wt-1+t两边平方后,再同取均值得
0=EWt2=2EWt-12+Et2+2EWt-1t=20+20=2/（1-2）.
记L为（一步）延迟算子（运算）,即Lt=t-1,L2Wt=Wt-2,等等.于是,Wt=Wt-1+t可写成
Wt=LWt+t或者Wt-LWt=t或者
（1-L）Wt=t.（3.4.1）’’
对上式进行形式上的代数运算可得
Wt=（1-L）-1t=k=0kLkt=k=0kt-k.
其中
（1-L）-1=k=0kLk（1-L）k=0kLk=1.
以上推演方法,不仅简便,而且能推广到高阶情况!
*高阶推广:
Yt=c+1Yt-1+…+pYt-p+t,（3.4.13）
=c+1+…+p,
Wt=1Wt-1+…+pWt-p+t,
记
.
则Wt=1Wt-1+…+pWt-p+t等价于
Zt=AZt-1+Ut.（*）
于是,以上对模型AR
（1）的推演步骤都无困难地推广到以上p元一阶AR模型.唯一的差别就是要用到矩阵运算.例如,类似于（3.4.2）式的解为
Zt=k=0AkUt-k.（*）
此时（3.4.13）式具有平稳解的充分必要条件是:
A的本征值的模都小于1,
（A）<1.（对比<1,（A）是A的谱半径）
我们所说的模型推演方法暂叙到此.
*二阶AR模型:
（见p64-66）（概述其难点所在）
模型:
Yt=c+1Yt-1+2Yt-2+t,
Wt=1Wt-1+2Wt-2+t,（3.4.10）
依前所述,只要求得（3.4.10）式的解,就不难获得AR
（2）模型的个项特征量.要获得（3.4.10）式的解,就等价于求
{Wt}的（3.3.13）式中的系数j（0j<）.如上所述,我们有两种方法:
一是用（3.4.10）式反复迭法;（仿（3.4.2）式）
一是算子的代数运算法;（求二元一阶AR模型的解）
说实话,都不简单!
为什么?
请看
若用（3.4.10）式反复迭法,则有
Wt=1Wt-1+2Wt-2+t=t+1（1Wt-2+2Wt-3+t-1）+2Wt-2
=t+1t-1+（12+2）Wt-2+12Wt-3=…
以下难于寻找t-2,t-3,…的系数的表示法.（难于寻找规律）
若用算子的代数运算求解（3.4.10）式,此时
Zt=
A=
在用（*）式求Zt的表达式时,要求出Ak（k=1,2,…）,同样难于寻找规律!
究其根源在于:
此时（3.4.10）式可写为
Wt-1Wt-1-2Wt-2=t,（3.4.10）’
记（L）=1-1L-2L2,则（3.4.10）式又可写为
（L）Wt=t,（3.4.10）’’
于是有解
Wt=-1（L）t=j=0jt-j（=Yt-=Yt-c-1
（1））
其中
-1（L）=i=0iLj（L）=i=0iLj=1
式中的系数j与（x）=0的根有关,而且只有当
（x）=0的根都在单位圆外,即（x）0,对x1.（3.4.18）
（3.4.10）式才有平稳解!
而且,一般难于给出j的显示表达式!
对Ak而言也如此!
注意AR
（1）时只有一个实根;AR
（2）时可能有两个不同的实根,有一个的实的双重根,有两个不同的但是共轭的复根.
对于注重应用者,更关心自协方差函数,请看:
将Wt=1Wt-1+2Wt-2+t两边同乘Wt-k,再求均值可得
EWtWt-k=1EWt-1Wt-k+2EWt-2Wt-k+EtWt-k
注意,对于k1时,EtWt-k=EtEWt-k=0,于是有
k=1k-1+2k-2,k1,或者（3.4.25）
k-1k-1-2k-2=0,k1.（3.4.25）’
当k=0时,将Wt=1Wt-1+2Wt-2+t两边同乘Wt,再求均值得
EWtWt=1EWt-1Wt+2EWt-2Wt+EtWt
=11+22+Et（1Wt-1+2Wt-2+t）
=11+22+1EtWt-1+2EtWt-2+Et2（ByEtWt-j=0,j1）
=11+22+2.（3.4.29）
至此我们得到了（3.4.29）式和（3.4.25）式.人们已注意到,（3.4.25）式也是二阶差分方程,也难得显示解.但是我们不关心它的解,而关心0,1,2和参数1,2,2的相互依赖关系!
至于3,4,…,它们被0,1,2（或1,2,2）唯一确定,而且不被关注.进一步而言,（3.4.29）式和（3.4.25）式中取k=1,2就唯一确定了0,1,2和参数1,2,2的相互依赖关系!
现写下这三个方程:
0=11+22+2,
1=10+21,
2=11+20.
将0同除以上后两式的
1=1+21,（3.4.27）
2=11+2.（3.4.28）
由此不难解出1,2与1,2的关系.其实,我们更关心1,2对1,2的依赖关系!
注意,（3.4.27）和（3.4.28）式联合起来,称为（AR
（2）的）Yule-Walker方程.
*p阶AR模型:
（见p66-68）
模型:
Yt=c+1Yt-1+…+pYt-p+t,（3.4.31）
记Wt=Yt-=Yt-c/（1-1-…-p）,
Wt=1Wt-1+…+pWt-p+t,（3.4.31）’
Wt-1Wt-1-…-pWt-p=t,
（L）Wt=t,
（L）=1-1L-…-pLp.
平稳条件:
（x）=0的根都在单位圆外,即（x）0,对x1.（3.4.32）
Y-W方程:
t=1t-1+…+pt-p,t=1,2,…（3.4.37）
若记=（1,2,…,p）,=（1,2,…,p）,再记
R=
则由（3.4.37）式可得
R=.（3.4.37）’
有解
=R-1.（3.4.37）’’
**偏相关函数:
若将（3.4.37）’中的p用k代替,并记相应的记号为
（k）=（1k,2k,…,kk）,（k）=（1,2,…,k）和R（k）,则有
（k）=R-1（k）（k）,k=1,2,…（3.4.37）*
序列{kk:
k=1,2,…}为偏相关函数列.
请注意,k是Wt+k和Wt的相关系数,而kk是在已知Wt+1,Wt+2,…,Wt+k-1条件下,Wt+k和Wt的相关系数.粗略地说,在扣除Wt+1,Wt+2,…,Wt+k-1的影响后,Wt+k和Wt的相关系数.
可以证明,对于平稳AR（p）序列而言,偏相关函数列在p以后都为零,也称截尾,即
{kk:
k=1,2,…}={11,22,…,pp,0,0,…}.（*）
3.5自回归滑动平均过程:
（ARMA（p,q））
讨论ARMA（p,q）模型时,用多元化的方法并不方便,常用的方法是延迟算子的方法.具体如下:
*ARMA（p,q）模型:
Yt=c+1Yt-1+…+pYt-p+1t-1+…+qt-q+t.（3.5.1）
Yt-1Yt-1-…-pYt-p=c+t+1t-1+…+qt-q
记
（L）=1-1L-…-pLp;
（L）=1+1L+…+qLq;
于是（3.5.1）式可写成
（L）Yt=c+（L）t,（3.5.2）
上式有解
Yt=-1（L）c+-1（L）（L）t,
=+（L）t.
其中
=c/（1-1-…-p）（书中有此式,但无编号）
=c-1
（1）
（L）t=-1（L）（L）t=（k=0kLk）（L）t
=k=0kLkt=k=0kt-k=Wt.
于是（3.5.1）（或（3.5.2））有解
Yt=+Wt=+k=0kt-k.（*）
中心化的ARMA模型为
（L）Wt=（L）t,（3.5.2）’
Wt=-1（L）（L）t.
关于ARMA（p,q）模型的特性,能说些什么呢?
它的自相关函数和偏相关函数都不截尾,可以说,正因为都不截尾,就不得不考虑引入ARMA（p,q）模型.当然也不是无条件的,细究起来要读第5章.在此,我们仅介绍以下性质.
*（3.5.1）有平稳解的条件:
（x）=0的根都在单位圆外,即（x）0,对x1.（3.5.3）
*自协方差序列的尾部特征:
将（3.5.2）两边同乘Wt-k（k>q）,再取均值得
E[（Wt-1Wt-1-…-pWt-p）Wt-k]=E[（t+1t-1+…+qt-q）Wt-k]
即有
t-1t-1+…+pt-p=0,t=q+1,q+2,…（3.5.5）
很有趣,虽然ARMA（p,q）序列的自协方差序列不截尾,但是它的线性组和序列t-1t-1+…+pt-p确在q步后截尾.由此既可给出此模型的判别依据,又可找到0,1,…,p+q和参数
1,2,…,p,1,2,…,q,2的依赖关系.（见第5章）
3.6自协方差生成函数（谱表示）（移至第6章）
3.7可逆性:
*先举两个例子,首先看
Wt=t+（1/2）t-1（*）
其中{t}为正态白噪声,即tN（0,2）.于是有
EWt=0,EWt2=2+（1/2）22=（1+（1/4））2=（5/4）2,
1=EWtWt-1=E（t+（1/2）t-1）（t-1+（1/2）t-2）=（1/2）2.
再考查另一模型
Zt=t+2t-1,（**）
其中{t}为正态白噪声,即tN（0,2/4）,即,
Et2=2=2/4,于是有
EZt=0,EZt2=2+42=52=（5/4）2,
1=EZtZt-1=E（t+2t-1）（t-1+2t-2）=22=（2/4）2=（1/2）2.
可见序列{Wt}和{Zt}有相同的均值,和相同的
升级会员 