时间序列分析方法第3章平稳ARMA模型.docx
《时间序列分析方法第3章平稳ARMA模型.docx》由会员分享，可在线阅读，更多相关《时间序列分析方法第3章平稳ARMA模型.docx（17页珍藏版）》请在冰豆网上搜索。
时间序列分析方法第3章平稳ARMA模型
第三章平稳ARMA过程
一元ARMA模型是描述时间序列动态性质的基本模型。
通过介绍ARMA模型，可以了解一些重要的时间序列的基本概念。
§3.1预期、平稳性和遍历性
3.1.1预期和随机过程
假设可以观察到一个样本容量为T的随机变量E的样本：
｛”宀…宀｝
这意味着这些随机变量之间的是相互独立且同分布的。
例3.1假设T个随机变量的集合为:
国，％，…,阳｝，且相互独立，我们称其为高斯白噪声过程产生的样本。
对于一个随机变量匕而言，它是/时刻的随机变疑，因此即使在/时刻实验，它也可以具有不同的取值，假设进行多次试验，英方式可能是进行多次整个时间序列的试验，获得/
个时间序列:
｛儿⑴』;玖…这个序列便是
对随机变量rz在/时刻的I次观测值.也是一种简单随机子样。
•P｝上的随机变量，则称随机变
肚义3.1假设随机变量匕是泄义在相同概率空间｛C.
量集合｛岭，/=Q±1,±2,…｝为随机过程。
例3.2假设随机变量岭的概率密度函数为:
加儿2忌旳〔去対
此时称此时密度为该过程的无条件密度，此过程也称为高斯过程或者正态过程。
定义3.2可以利用各阶矩描述随机过程的数值特征：
（1）随机变量匕的数学期望泄义为（假设枳分收敛）：
^t=E（Y[）=^ylfyi（yl）dyl
此时它是随机样本的概率极限：
1I...
砒）=弓1叫工刑
//=）
（2）随机变量匕的方差立义为（假设积分收敛）：
Zo,=E（rz-A）2
例3.3
（1）假设｛^.勺，…｝是一个高斯白噪声过程，随机过程乙为常数加上髙斯白噪声过程：
乙=“+刁，则它的均值和方差分别为：
/A=£（乙）=“+E（s,）=p
/or（岭一“J2=E©）=（j2
（2）随机过程乙为时间的线性趋势加上髙斯白噪声过程：
Y,=pt+St,则它的均值和方差分别为：
//,=E（y,）==pt
/0,=£（^-//;）2=£（^）=<723.1.2随机过程的自协方差
将丿•个时间间隔的随机变疑构成一个随机向量X,=（r,,r,_1,rz_p,,通过随机试验可以获得该随机向量的简单随机样本。
假设函数匸“丿（儿，儿“,…」一）为随机向量乙的联合槪率分布密度，则可以类似地定义：
适义3.3随机过程匕的自协方差泄义为：
yjt=E［（Y,-“T）l
上述协方差可以利用联合概率分布密度求解。
3.1.3平稳性
左义：
假设随机过程岭的均值函数儿和协方差函数卩打与时间『无关，则称此过程是协方差平稳过程，也称为弱平稳过程。
此时对任意时间f有：
耳（匕-“）（乙7-“）］*丿
例3.4
（1）假设随机过程人为常数加上高斯白噪声过程：
岭=“+為，则它的均值和方差与时间无关，因此该过程是协方差平稳过程。
（2）假设随机过程｝;为时间的线性趋势加上高斯白噪声过程：
乙=0/+岂，则它的均值为：
儿=£（乙）=炉+£（爲）=0/，它依赖时间/,因此它不是协方差平稳过程。
由于协方差平稳过程仅仅依赖时间间隔，因此有：
yj=y-j
立义：
假设随机过程人满足条件：
对于任意正整数值人）2,…二，随机向量（心,仏,…，仏）的联合概率分布只取决于时间间隔久,厶，…J”，而不依赖时间/，则称该过程是严格平稳过程，简称为严平稳过程。
如果一个随机过程是严平稳过程，而且具有有限的二阶矩，则该过程一泄是协方差平稳过程，即宽平稳过程。
但是，一个宽平稳过程却不一定是严平稳过程。
例3.4假设随机过程匕是具有髙斯分布的高斯过程，如果该过程是宽平稳过程，则此过程一定是严平稳过程。
3.1.4遍历性
遍历性是时间序列中非常重要的。
对于时间序列而言，我们可以得到一个随着时间顺序的样本观测值：
…,yf），对此可以得到一个时间平均值：
左义：
假设时间序列齐是一个平稳过程，如果时间平均值按照概率收敛到总体平均值,则称该随机过程是关于均值遍历的。
遍历性是平稳时间序列非常重要的一个性质，如果一个平稳时间序列是遍历的，那么它在每个时点上的样本矩性质（均值和协方差等）就可以在不同时点上的样本中体现岀来。
这就是遍历性的含义。
泄理：
如果一个协方差平稳过程，如果自协方差函数满足：
£1/；1<00
；=0
则随机过程是关于均值遍历的。
泄义：
假设时间序列E是一个协方差平稳过程，如果样本协方差按照概率收敛到总体协方差，即
T
LS（岭-“）（仏-“）一^厂
I一J―讨
则称该过程是关于二阶矩遍历的。
高阶矩颯历意味着过程不同时间上的统il•性质更接近同一时点上的随机抽样性质。
例3.4如果随机过程｝;是高斯协方差平稳过程，则它是均值遍历过程，也是二阶矩遍历过程。
一般情况下，平稳性和遍历性之间没有必然联系，下而的例子可以说明这一点。
例3.5假设随机过程｝;的均值过程满足：
乙⑴=“⑺+s,
英中均值满足：
““）~N（0,22）,®是“⑴独立的白噪声过程。
因为
角=£［匕⑴J=£（“"）+%）=0
/o,=E（“⑴+勺）2=兄2+O"2
Yj,=E（〃⑴+£）（〃">+^_y）=22,JhO
上式表明，该过程是协方差平稳过程，但是由于
+可）一^“⑺*
1/=11E
因此，该过程不是均值遍历过程。
§3.2移动平均过程
3.2.1一阶移动平均过程
假设｛©｝是白噪声过程，考虑下述随机过程：
K=“+刁+°£i-\
英中“和&是任意常数。
由于这个随机过程依赖最近两个时间阶段的哲的加权平均，因此称此过程为一阶移动平均过程，表示为MA⑴。
下而我们通过求解伽
（1）过程的均值函数和协方差函数来说明它是一个宽平稳过程。
求解均值函数为：
//,=£（｝；）=EC//+勺+8爲_］）=卩
一阶自协方差为：
儿=日（匕-“）（丫1-“）］
=日（£+0£l_i）（£,_i+九2）1
=E（碍）
=0对于更髙阶的自协方差，则有：
=£［（爲++&£十）］
=0
上述结果表明，⑴过程是一个平稳随机过程。
注意到：
£!
/•\=（\JrO1）a1+\O（j-l冋
因此，伽
（1）也是均值遍历过程。
左义：
将协方差平稳过程的第j个自相关系数表示为Q厂则有：
pj=r7//o
根据相关系数的定义：
=S（今T）=心=S
卩厂阴（Y）阴~飯飯~
根据Cauchy-Schwarz不等式，可知所有自相关系数绝对值不会超过1。
对于MA
（1）过程而言，它的自相关系数为：
自相关系数也被称为自相关函数，它度量随着时间间隔的变化，随机过程不同时点之间的相关性。
即使具有相同的自相关函数，所对应的随机过程性质可能也是不同的。
3.2.2q阶移动平均过程
推广MA
（1）过程中的滞后阶数，可以得到下而表示为MA（q）的q阶移动平均过程：
Y,="+£+。
2®-2+…+?
/£-
英中残差仍然是白噪声过程，系数可以是任意实数。
（1）过程的均值
直接计算均值函数为：
EY{=£（“+£t+£t-\+&2St-2■*BqSt-（2）曲（q）过程的自协方差
首先计算方差为：
%=E（®+q弘|+&2勺-2+…+q&r）2
=（1+0^+e：
4—出、o'
貝次计算自协方差，当时间间隔jY）=E【（巧+°\st-\+…+爲f）（1+3+…+陽）J
=©+&/+01+…+乞乩7）°2
当时间间隔j>q时，则有：
Yj=+GSt-\+•••+◎/§-
）（£-j+d\€t-}-\+…+◎/€i-j-q）j
=0
对于MA{2）过程而言，则有：
%=（1+0~+^）a2,
/1=（
+&2&I0，
r2=°2八
y/=0,j>2
显然，对于任意阶数的移动平均过程，均是协方差平稳的。
因此，移动平均过程的平稳性对于参数没有任何要求。
（3）M4（q）过程的自相关函数
根据自相关函数（ACF函数）的定义，可以得到伽（g）过程的自相关函数为：
厂1+即+0；
0.
°2_1+卑+电
p,=0,j>2
上述ACF函数的典型性质是它仅有两个突出点，当时间间隔大于2个阶段以后，ACF函数便快速地收敛到零。
如果一个随机过程的ACF函数体现出这样的性质，便可以推断它的数据生成过程（datageneratingprocess,简称为DGP）可能是一个MA⑵过程。
3.2.3无限阶移动平均过程
无限阶移动平均过程是MA（g）过程的进一步推广，令qTW,得到MA（oo）过程的表达式为：
0C
J-0
为了与有限阶移动平均参数加以区别，上述移动平均系数利用符号肖丿表示。
如果假设移动平均系数是平方可加的，即：
可以证明上述表示按照均方收敛到一个随机变量，因此确实左义了一个随机过程。
可以对于系数加以更强的条件，即假设是绝对可加的，即满足：
X
刃匕1<8
可以证明绝对可加可以推导岀平方可加，但是反之不然。
系数绝对可加的无限阶移动平均过程是平稳过程，其均值和协方差函数可以表示为：
E（Yt）=lim£（//+%刍+卩违―+屮冋」+・・・+屮详宀=“
/o巳imEQ/血+ME-1+必弘2+…+妙£t）2
T->x
=（卽”2
◎=£!
（?
；-_“）]=f；（匕/+JL
可以证明，当移动平均系数绝对可加时，自协方差也是绝对可加的：
召1<00
■
因此MA（oo）过程是关于均值遍历的。
§3.4自回归过程
上而我们介绍的移动平均过程是将一个随机过程表示为随机残差的移动平均，当期随机过程的实现没有受到过程前期取值的直接影响。
如果随机过程取值对后继取值产生影响，则可以利用自回归过程表示这样随机过程的基本特征。
3.4.1一阶自回归过程AR（V）
假设随机过程当期取值依赖前一个阶段的取值，如此随机过程可以利用下面一阶自回归过程AR
（1）表示：
K=C+0乙_]+£t
英中®仍然是白噪声过程。
显然如此自回归过程可以表示为线性差分方程形式：
£［（人一“）£」=E［（£-1+0£一2+e乜-2+…）£」=0
则得到：
也可以得到：
（J2
（3）当丿>0时，在中心化表示两端乘以因子（Y--“）,然后取数学期望得到：
E［（Y,一“）（丫_-//）］=£W（r；_I-//）（/,_；一“）］+日（匚一“冷］
则得到：
丫）=仞卜\,y=i,2,•
这是自协方差函数所满足的一个一阶齐次差分方程，其解为：
•©jr
这同前而利用无限移动过程的推导结果完全一致。
3.4.2二阶自回归过程AR
（2）
二阶自回归过程表示为AR
（2）,模型形式为：
K=C+0|Z・］+02匕_2+E
采用滞后算子形式表示为：
（1_0I厶一02厶$）乙=C+£t
差分方程稳左或者上述过程平稳的条件是：
［-0］Z-匹去=0
的所有根落在单位圆外。
这时假设逆算子形式为：
肖（厶）=（1一0］L—02厶'）7=占（）+$厶+#2。
+肖3厶"+…
其中算子多项式的系数肖丿由前面差分方程的讨论所确建。
利用算子多项式的逆算子，可以将处
（2）过程表示为无限阶移动平均过程：
Y,=y/（L）c+y/（L）£,
可以直接证明此过程的均值为：
“=E（Y：
）=0（厶）c=-
—2
并且可以得到：
£|匕1<8
7-0
如果假设该过程是平稳过程，那么对处
（2）过程直接求数学期望，也可以得到类似的均
值。
屈?
（2）过程也存在下述中心化表示：
（X-“）=0IC1-“）+02（X-2-“）+€t
两端乘以因子（丫“-“），然后取数学期望得到：
EKE-“）（乙7-“）］=£［01（乙・］-“）（乙7-“）+0（冷2-“）（Y—-
利用自协方差定义得到：
厂=03+02了卜2,）=1,2,…
这说明自协方差满足二阶差分方程，这个差分方程的稳泄性是要求自回归系数落入稳左
的三角形区域内。
自相关函数满足：
Pi=（t>\ph\+
>2丿=1,2,…
令丿=1得到：
Q]=始+02。
-|=01+02。
】
从中可以得到：
令丿=2得到：
Pl”]0]+。
2
从中可以得到:
类似地，可以求解岀乂
（2）过程的方差:
了0=01/,+^2/2+可以表示为：
从中解出方差为:
0；/o+^2
或者：
（1+血）〔（1一0尸一舛]
3.4.3"阶自回归过程AR（p）
如果将解释变虽:
的滞后阶数扩展，可以得到下述〃阶自回归过程，表示为AR（p）：
假设算子多项式的特征方程：
[_0]Z_02Z，0pZ"=0
的根全部落入单位圆外，则AR（p）是协方差平稳的，其无限阶移动平均表示为：
K=“+0（厶）®
y/（L）=（1—0[厶_02厶，©pLP）一"=屮q+#]厶+屮工口+屮+…
0C
刀匕1<8
；-0
在AR⑺）过程满足协方差平稳的条件下，取均值为：
“=c+0i”+02“+・•・+如“
则均值为：
C
1一01_02Op
得到上述均值以后,可以将在AR（p）过程进行中心化表示：
亿一“）=01（匕-1一“）+02厲・2-“）+…+0p（h-pa
两端乘以因子（丫--“），然后取数学期望得到：
如丫円+02人-2+・・・+0“厂丿=12…
了j=<
r加1+02卩2+…+0宀+，，J=0
对于给泄的参数…可以求出方差和协方差的初值状态（％,“,•••,"），可以作为上述差分方程的初值，并可以进一步求解出所有阶数的协方差序列。
进一步可以得到自相关函数方程，这个差分方程被称为Yule-Walker方程：
pj=^1Pi-\+02厂_2+…+丿=1‘么…
如果算子多项式特征方程具有相异根，则协方差构成的差分方程具有解形式为：
Yj=
i^i+珀必+…+乔对
其中（人，兄2,…，歼）是下述方程的根：
〃一一02〃亠°=0
§3.5自回归移动平均过程
如果将自回归和移动平均过程结合起来，就可以得到自回归移动平均过程，根据自回归和移动平均的阶数可以将其表示为ARMA（p,g）形式：
Yt=C+01+02K-2…+0pYt-p+Sl+&1St-\+&2St-2…+0/£i-q
将其表示为滞后算子形式：
（1—L—L-（f>U'）Yf=c+（1+qL+L~HFOtj）s{
假设算子多项式形成的特征方程：
1一01Z-0Z20”zP=0
的所有特征根均落在单位圆外，这样就可以除以逆算子得到无限移动平均表示：
y,=〃+0（厶）为
其中算子多项式"亿）为：
1+qL+0->L~+•••■0aLfl
讥厶）=——;=,
1一必厶一血厶-Op。
OC
另1匕IVCO,
C
1一01-02Op
ARMA（p,q）'^程的平稳性条件取决其中自回归系数©肌，…、忖的性质，而与移动平均系数（q.E，….0）无关。
为了方便起见，在推断ARMA（p.程的平稳性以后，可以将ARMA（p.q）表示为'‘中心化”形式：
（X_“）=01亿_1-“）+。
2亿-2-“）••+%（X・p-“）+巧+G£t-\+02St-2…+4£i-q
在上式两端乘以（匕_/-“），并求数学期望，可以得到协方差的等式：
Yj=叭丫H+02厂・2+…+孙乙_p，j=q+l,q+2,…
上式说明滞后阶数超过g以后的协方差满足〃阶线性差分方程。
类似地，自相关系数也满足此方程。
当滞后阶数小于或者等于q时，由于残差之间存在相关关系，因此屈3加（"§）过程具有比处（“）过程更为复杂的协方差函数。
如果线性差分方程的特征方程具有相异根，则自协方差函数为：
yj=h\召+他鬼+…+hp入;
上述解中的系数需要依靠初始条件来确立。
虽然ARMA（p,q）的结构更为复杂，可以描述更为复杂的随机过程及英特征，但是使用ARMA（p.q）容易产生"过度参数化”的问题。
假设随机过程本身是一个白噪声过程，即
这是一个无参数的随机过程，但是如果两端引入自回归和移动平均过程，可以得到個皿（1,1）过程：
（l-pL）Y,=（\-pL）£,
值得注意的是，这个MM4（1,1）过程的参数具有确肚性限制：
0]=。
，8\=_p
对于这样一个过程，无论参数。
如何取值，实际上都表示的是一个白噪声过程。
但是,如果此时对参数进行估计，则由于参数的任意性，给参数估计带来了困难，势必要求对磁忆4（1.1）过程进行无参数约束估计，如果得到竝q,则意味着我们应该采用白噪声过程描述数据的生成过程。
类似地，对于更为的一般的ARMA（p,q）：
（1—01L—02厶2%、Lf）丫1=C+（1+qL+0-,L-TBqLfl）£t
如果等式左右两端可以进行算子多项式的因式分解：
（1一厶）（1一几2厶）…（1一兄P厶）乙=0-〃上）（1一帀2厶）…（1一％厶）®
则平稳性要求：
1入1<1,i=l,2,…，”。
如果两端具有相同因子，即对某种i和八出现相同的根：
人•==◎,则等式两边可以除去相同的公因式，得到：
口（1一九厶）岭=口（1一％•厶為
i-1.k»ik»i
或者表示成为：
（1一舛1一0；厶2——0；「"1）匕=（i+8；L+e;z?
+…+&；“〃」）乞
这是简化后的ARMA（p-1,67-1）过程，这意味着可以通过化简等方式将一个过度参数化的过程降低为参数恰当的过程。
§3.6自协方差生成函数
3.6.1ARMA（p,q）过程的自协方差生成函数
类似于随机变量的特征函数，我们也可以构造一类函数，利用它表示随机过程协方差的性质。
泄义：
假设随机过程匕的自协方差序列｛/7是绝对可加的，泄义自协方差生成函数
为（自变量z可以是复变量）：
—W
特别地，对于落在单位圆上的自变量值：
z=cosco一isinco=cxp（-ie）
下述函数称为随机过程的总体谱：
11皿
^（^）=——2>严-9丿
2龙2/rj._oc
可以证明，对于任何自协方差序列绝对可加的随机过程而言，上述总体谱函数都是存在的。
如果两个随机过程具有相同的自协方差生成函数，那么这两个随机过程的所有自协方差是相同的。
例4.1计算MA⑴过程的自协方差生成函数。
解：
我们已经得到了M4⑴过程的自协方差，根据立义可以得到它的自协方差生成函数为：
gy（z）=（8cr2）zT+[（1+^2）cr2]z°+（^=（j-[0z~l+（\+6-）+0z]
将上式表示为：
gY（z）=a2（l+0z）（l+z_,）
根据M4⑴过程自协方差生成函数的特点，对于MA{q）过程：
Y，=“+・+q+2匚2…
我们猜想它的自协方差生成函数为：
和⑵=严）（1+&忆“+-•-+◎/d
为了验证这一点，将上式乘积展开并合并同类项得到：
灯⑵=0/羽+©_]+0£1）Z""+•••+（&]+&2&1+…+G0-1）Z】+（1+即+…+&：
）z°++（q+&2&1+…+4為_1）戶+--■+（%+晌）严+占
对比系数与MA（q）过程的自协方差，我们知道该函数确实是MA（q）过程的自协方差生成函数。
命题：
对于无限阶移动平均过程MA（oo）：
+X
匕=“+0（厶）£,仔（厶）=鸭0+0上+/D+…，乞|人|<8
则它的自协方差生成函数为：
gy（Z）=b2”（Z”（z"）
证明：
略。
例4.2求/V?
（l）过程的自协方差生成函数。
解：
在平稳性要求下，M⑴过程可以表示为：
儿-"（1-九）七
此时：
^（L）=（1-^L）-',因此M（l）过程的自协方差生成函数为：
（J2
"⑵（1-0Z）（1-0Z“）
可以根据此自协方差生成函数得到AR
（1）过程的各阶自协方差：
gy（z）=z+（f>2Z2+…）（1+0Z~I+0辽-2+…）
上式中刃的系数便是厂，计算得到：
（hi
y=（j23j+0/+10+0J+202+・•.）=_:
——0-2
1_02
这和前面计算结果是一致的。
命题：
假设平稳ARMA（p.q）过程为：
（1—01L—02D（/>]、LP）YI=c+（I+qL+&，L?
40L?
）st
它的自协方差生成函数为：
（1+qz+^2z2+…+0/Z*O（l+&|ZJ+02z~2+…+Q,z-o）
Pv（7）=（J2
'（1一0]Z-如F如Z"）（1-姚Z」_0jZ—0卩Z~P）
证明：
略。
3.6.2随机过程滤波的自协方差生成函数
经常会遇到对随机过程的齐种变换，这些变换有时称为对随机过程的滤波。
下面，我们分析滤波对原时间序列自协方差生成函数的影响。
假设随机过程岭为伽⑴过程：
Yt=（l+0L）£,
它的自协方差生成函数为：
灯⑵=现假设对随机过程进行差分变换，得到新的随机过程X,:
X,=yt*=（1_砒=（l-L）（l+0L）st
=[i+（<9-i）L-
L2k,,q=e-i,o2=-o
=（i+q厶+&2G）st
则随机过程的自协方差生成函数为：
gx（z）=（i+qz+2去）（1+qz-1+o2z~2）（j2
注意到因式分解形式：
1+qZ+&2z2=（1-z）（l+Oz）
则x『的自协方差生成函数可以表示为：
gx（z）=（1一z）（l-z_,）（1+0z）（l+6z-1）a2
=（1-z）（l-j）gy（z）
从上述结果可以归纳出更为一般的滤波后的过程的自协方差生成函数。
命题：
假设原始随机过程儿具有自协方差生成函数gy（Z）,
Ys=〃+肖（厶）肖（厶）=肖0+0上+02厶2+…，三1肖丿1<8
八•（）
对它进行下述形式的滤波：
Xt=h（L）Yl9h（L）=壬】屮,fl/zzly——xj.-oc
则随机过程x「可以表示为：
X,=方⑴p+h（L）i//（L）£,=p*+^（L）e,,
“=/?
（l）/z,f（厶）=h（L）i//（L
升级会员 