高阶谱 第1章 高阶统计量的定义与性质.docx
《高阶谱 第1章 高阶统计量的定义与性质.docx》由会员分享，可在线阅读，更多相关《高阶谱 第1章 高阶统计量的定义与性质.docx（24页珍藏版）》请在冰豆网上搜索。
高阶谱第1章高阶统计量的定义与性质
第1章高阶统计量的定义与性质
1.1准备知识
1.随机变量的特征函数
若随机变量x的分布函数为F（x），则称
Φ（ω）=E[e
jωx
]=
⎰
∞
-∞
e
jωx
dF（x）=⎰e
-∞
∞
jωx
f（x）dx
为x的特征函数。
其中f（x）为概率密度函数。
离散情况：
Φ（ω）=E[ejωx]=
∑e
k
jωxk
pk,
pk=p{x=xk}
特征函数Φ（ω）是概率密度f（x）的付里叶变换。
例：
设x~N（a,σ2），则特征函数为
Φ（ω）=
⎰
∞
12πσ
-∞
e
-（x-a）/2σ
22
e
jωx
dx
令z=（x-a）/2σ，则
Φ（ω）=
π
⎰
∞
-∞
e
-z+j
2
2σωz+jωa
dz
根据公式：
⎰e-Ax
-∞
∞
2
±2Bx-Cx
dx=
A
e
-
AC-B
A
2
，则
2
Φ（ω）=e若a=0，则Φ（ω）=e
12-ωσ2
2
12
jωa-ωσ
2
。
2.多维随机变量的特征函数
设随机变量x1,x2,,xn联合概率分布函数为F（x1,x2,,xn），则联合特征函数为
Φ（ω1,ω2,,ωn）=E[e
j（ω1x1+ω2x2++ωnxn）
∞
∞
]=
⎰
-∞
⎰
-∞
e
j（ω1x1+ω2x2++ωnxn）
dF（x1,x2,,xn）
令x=[x1,x2,,xn]T,ω=[ω1,ω2,,ωn]T，则
Φ（ω）=
∞
⎰
e
jωx
T
f（x）dX
n
矩阵形式
或Φ（ω1,ω2,,ωn）=
⎰
-∞
⎰
∞
j
-∞
e
∑ωkxk
k=1
f（x1,,xn）dx1,,dxn标量形式
其中，f（x）=f（x1,x2,,xn）为联合概率密度函数。
例：
设n维高斯随机变量为
x=[x1,x2,,xn]
T
a=[a1,a2,,an]T
⎡c11
c12
c1n⎤c=⎢⎢
⎥⎥⎢⎣cn1
cn2
cnn⎥⎦
cik=cov[xi,xk]=E[（xi-ai）（xk-ak）]
x的概率密度为
P（x）=
1
exp⎧（2π）
n/2
⎨-1（x-a）T
c（x-a）⎫c
1/2
⎩2⎬⎭
x的特征函数为
Φ（ω）=exp⎨⎧jaTω-
1
⎫矩阵形式
⎩
2ωT
cω⎬⎭
其中，ω=[ω1,ω2,,ωTn],
⎧nn
Φ（ω,ω-1n
1,ω2,n）=exp⎨j∑aiωiijωiωj⎬标量形式⎩2∑
∑C⎫
i=1
i=1
j=1⎭
3.随机变量的第二特征函数
定义：
特征函数的对数为第二特征函数为ψ（ω）=lnΦ（ω）
（1）单变量高斯随机过程的第二特征函数
ψ（ω）=lnejωa-2
ωσ
=jωa-
122
ωσ
（2）多变量情形
n
ψ（ω1,ω2,,ωn）=j∑aiωi-
1
nn
ωiωj
i=1
∑∑Cij
i=1ji=1
1.2高阶矩与高阶累积量定义
1.单个随机变量情形
（1）高阶矩定义
随机变量x的k阶矩定义为
mk
k=E[xk
]=
⎰
∞
-∞
xp（x）dx（1.1）
显然m0=1，m1=η=E[x]。
随机变量x的k阶中心矩定义为
μk=E[（x-η）]=k⎰∞-∞k（x-η）p（x）dx（1.2）
由式（1.2）可见，μ0=1,μ1=0,μ2=σ2。
若mk（k=1,2,,n）存在，则x的特征函数Φ（ω）可按泰勒级数展开，即
n
Φ（ω）=1+∑
k=1mkk!
（jω）+O（ω）kn（1.3）
并且mk与Φ（ω）的k阶导数之间的关系为mk=（-j）kdΦ（ω）dωkk=（-j）Φ（0）,
ω=0kkk≤n（1.4）
（2）高阶累积量定义
x的第二特征函数ψ（ω）按泰勒级数展开，有
n
ψ（ω）=lnΦ（ω）=∑
k=1ckk!
（jω）+O（ω）kn（1.5）
并且ck与ψ（ω）的k阶导数之间的关系为
k⎤1⎡dck=k⎢lnΦ（ω）⎥kj⎣dω⎦k1⎡dψ（ω）⎤=k⎢⎥kj⎣dω⎦=（-j）ψ（0）,ω=0kkk≤n（1.6）ω=0
ck称为随机变量x的k阶累积量，实际上由Φ（0）=1及Φ（ω）的连续性，存在δ0，使δ时，Φ（ω）≠0，故第二特征函数ψ（ω）=lnΦ（ω）对δ有意义且单值（只考虑对数函数的主值），lnΦ（ω）的前n阶导数在ω=0处存在，故ck也存在。
（3）二者关系
下面推导ck与mk之间的关系。
形式地在式（2.3）与式（2.5）中令n→∞，并
利用
∞
Φ（ω）=1+∑
k=1mkk!
（jω）k⎡∞ckk⎤=exp⎢∑（jω）⎥⎣k=1k!
⎦
2n∞
=1+∑
k=1ck1⎡∞ck1⎡∞ckkk⎤k⎤（jω）+⎢∑（jω）⎥++（jω）⎢∑⎥+k!
2!
⎣k=1k!
n!
⎣k=1k!
⎦⎦
（1.7）
比较上式中各（jω）k（k=1,2,）同幂项系数，得k阶累积量与k阶矩的关系如下：
3
c1=m1=E[x]=η
c2=m2-m1=E[x]-（E[x]）
3
3
222
=E[（x-E[x]）]=μ2
2
2
3
c3=m3-3m1m2+2m1=E[x]-3E[x]E[（x）]+2（E[x]）
2
2
=E[（x-E[x]）]=μ3
3
c4=m4-3m2-4m1m3+12m1m2-6m1≠E[（x-E[x]）]=μ4
若E[x]=η=0，则c1=m1=0c2=m2=E[x2]
c3=m3=E[x]c4=m4-3m2=E[x]-3（E[x]）
3
2422
由上可见，当随机变量x的均值为零时，其前三阶累积量与前三阶矩相同，而四阶累积量与相应的高阶矩不相同。
2.多个随机变量情形
（1）高阶矩
给定n维随机变量（x1,x2,,xn），其联合特征函数为
Φ（ω1,ω2,,ωn）=E[expj（ω1x1+ω2x2++ωnxn）]
（1.8）
其第二联合特征函数为
ψ（ω1,ω2,,ωn）=lnΦ（ω1,ω2,,ωn）
（1.9）
可见，联合特征函数Φ（ω1,ω2,,ωn）就是随机变量（x1,x2,,xn）的联合概率密度函数p（x1,x2,,xn）的n维付里叶变换。
对式（1.8）与（1.9）分别按泰勒级数展开，则阶数r=k1+k2++kn的联合矩可用联合特征函数Φ（ω1,ω2,,ωn）定义为
mk1k2kn=E[xx
k11
k22
x
knn
⎡∂rΦ（ω1,ω2,,ωn）⎤
]=（-j）⎢kn⎥k1k2
∂ω∂ω∂ω12n⎣⎦
r
（1.10）
ω1=ω2==ωn=0
（2）高阶累积量
同样地，阶数r=k1+k2++kn的联合累积量可用第二联合特征函数
ψ（ω1,ω2,,ωn）
r
定义为
∂ψ（ω1,ω2,,ωn）∂ω∂ω
k1
1
k22
ck1k2kn=（-j）
∂ω
knn
=（-j）
ω1=ω2==ωn=0
r
∂lnΦ（ω1,ω2,,ωn）∂ω11∂ω22∂ωnn
k
k
k
r
ω1=ω2==ωn=0
（1.11）
（3）二者关系联合累积量ckk
12kn
可用联合矩mkk
12kn
的多项式来表示，但其一般表达式相
当复杂，这里不加详述，仅给出二阶、三阶和四阶联合累积量与其对应阶次的联合矩之间的关系。
设x1,x2,x3和x4均为零均值随机变量，则
c11=cum（x1,x2）=E[x1x2]
（1.12a）
c111=cum（x1,x2,x3）=E[x1x2x3]
（1.12b）
c1111=cum（x1,x2,x3,x4）
=E[x1x2x3x4]-E[x1x2]E[x3x4]-E[x1x3]E[x2x4]-E[x1x4]E[x2x3]
（1.12c）
对于非零均值随机变量，则式（1.12）中用xi-E[xi]代替xi即可。
与单个变量情形类似，前三阶联合累积量与前三阶联合矩相同，而四阶及高于四阶的联合累积量则与相应阶次的联合矩不同。
注意，式（1.12）中采用cum（∙）表示联合累积量的方法在以后将时常用到。
3.平稳随机过程的高阶累积量
设{x（n）}为零均值k阶平稳随机过程，则该过程的k阶累积量
ck,x（m1,m2,,mk-1）定义为随机变量{x（n）,x（n+m1）,,x（n+mk-1）}的k
阶联合累
积量，即
ck,x（m1,m2,,mk-1）=cum（x（n）,x（n+m1）,,x（n+mk-1））
（1.13）
而该过程的k阶矩mk,x（m1,m2,,mk-1）则定义为随机变量
{x（n）,x（n+m1）,,x（n+mk-1）}的k
阶联合矩，即
mk,x（m1,m2,,mk-1）=mom（x（n）,x（n+m1）,,x（n+mk-1））
（1.14）
这里，mom（∙）表示联合矩。
由于{x（n）}是k阶平稳的，故{x（n）}的k阶累积量和k阶矩仅仅是时延
m1,m2,,mk-1的函数，而与时刻n无关，其二阶、三阶和四阶累积量分别为
c2,x（m）=E[x（n）x（n+m）]
（1.15a）
c3,x（m1,m2）=E[x（n）x（n+m1）x（n+m2）]
（1.15b）
c4,x（m1,m2,,m3）=E[x（n）x（n+m1）x（n+m2）x（n+m3）]-c2,x（m1）c2,x（m2-m3）
-c2,x（m2）c2,x（m3-m1）-c2,x（m3）c2,x（m1-m2）
（1.15c）
可以看出，{x（n）}的二阶累积量正好就是其自相关函数，三阶累积量也正好等于其三阶矩，而{x（n）}的四阶累积量则与其四阶矩不一样，为了得到四阶累积量，必须同时知道四阶矩和自相关函数。
1.3高阶累积量的性质
高阶累积量具有下列重要特性：
（1）设λi（i=1,2,,k）为常数，xi（i=1,2,,k）为随机变量，则
k
cum（λ1x1,,λkxk）=
∏λcum（x
i
i=1
1
,xk）
（2）累积量关于变量对称，即
cum（x1,,xk）=cum（xi,xi,,xi）
1
2
k
其中（i1,,ik）为（1,,k）中的任意一种排列。
（3）累积量关于变量具有可加性，即
cum（x0+y0,z1,,zk）=cum（x0,z1,,zk）+cum（y0,z1,,zk）
（4）如果α为常数，则
cum（α+z1,z2,,zk）=cum（z1,z2,,zk）
（5）如果随机变量xi（i=1,2,,k）与随机变量yi（i=1,2,,k）相互独立，则cum（x1+y1,,xk+yk）=cum（x1,,xk）+cum（y1,,yk）
（6）如果随机变量xi（i=1,2,,k）中某个子集与补集相互独立，则
cum（x1,,xk）=0
1.4高斯过程的高阶累积量
1.单个高斯随机变量情形
设随机变量x服从高斯分布N（0,σ2），即x的概率密度函数为p（x）=故有Φ（ω）=e
x的第二特征函数为
12πσ
-
-
x
22
e
2σ
σω
2
22
2
2
（1.16）
ψ（ω）=lnΦ（ω）=-
σω2
利用累积量ck与ψ（ω）的关系式（1.6），并比较（1.6）与（1.16）两式，可以得到随机变量x的各阶累积量为
c1=0，c2=σ2，ck=0,由此，我们有下列结论：
（1）高斯随机变量x的一阶累积量c1和二阶累积量c2恰好就是x的均值和方差。
（2）高斯随机变量x的高阶累积量ck（k2）等于零。
（3）由于高斯随机变量x的各阶矩为
⎧1∙3∙∙（k-1）σk,⎪
mk=E[xk]=⎨
0，⎪
⎩
k为偶数
k2
k为奇数
可见，高阶累积量与高阶矩不一样。
由于高斯随机变量x的高阶矩并不比其二阶矩多提供信息，它仍取决于二阶矩的统计知识σ2，所以人们宁愿选择高阶累积量这一统计量，直接把多余的信息用零来处理。
2.高斯随机过程情形
先讨论n维高斯随机矢量x=[x1,x2,,xn]T，设其均值矢量为
a=[a1,a2,,an]
T
，协方差矩阵为
⎡c11⎢c21
c=⎢
⎢⎢⎣cn1
c12c22cn2
c1n⎤⎥c2n
⎥⎥⎥cnn⎦
其中
cik=E[（xi-ai）（xk-ak）]
i,k=1,2,n
n维高斯随机变量x的联合概率密度函数为
p（x）=
（2π）
x的联合特征函数为
1
n/2
c
1/2
⎧1⎫T-1
exp⎨-（x-a）c（x-a）⎬⎩2⎭
Φ（ω）=exp⎨jaTω-
⎩
⎧1
⎫T
ωcω⎬2⎭
其中，ω=[ω1,ω2,,ωn]T
x的第二联合特征函数为
ψ（ω）=lnΦ（ω）=jaω-
T
12
n
ωcω=j∑aiωi-
i=1
T
12
nn
ij
∑∑c
i=1
j=1
ωiωj
由于阶数r=k1+k2++kn的联合累积量ckkckk
=（-j）
r
k
12kn
可由第二特征函数定义为
∂ψ（ω）∂ω11∂ω22∂ωnn
k
k
r
12kn
ω1=ω2==ωn=0
于是，n维高斯随机变量（x1,x2,,xn）的各阶累积量为：
（1）r=1，即k1,k2,,kn中某个值取1（设ki=1），而其余值为零，于是c010=（-j）
∂ψ（ω）∂ωi
ω1=ω2==ωn=0
=ai=E[xi]
（2）r=2，这有两种情况：
1）ki（i=1,2,,n）中某两个值取1（设ki=kj=1,i≠j），其余值为零，这
时
c0110=（-j）
∂ψ（ω）∂ωi∂ω
j
2
=cij=E[（xi-ai）（xj-aj）]
ω1=ω2==ωn=0
i≠j
上式利用了关系式cij=cji。
2）ki（i=1,2,,n中某个值取2（设ki=2），其余值为零，这时
c020=（-j）
2
∂ψ（ω）∂ωi
2
2
=cii=E[（xi-ai）]
ω1=ω2==ωn=0
2
（3）r≥3，由于ψ（ω）是关于自变量ωi（i=1,2,,n）的二次多项式，因而ψ（ω）关于自变量的三阶或三阶以上（偏）导数等于零，因而x的三阶或三阶以上联合累积量等于零，即
ckk
12kn
=0,
k1+k2++kn≥3
由上一节关于随机过程的累积量的定义可知，对于高斯随机过程{x（n）}，其阶次大于２的k阶累积量ck,x（m1,m2,,mk-1）也为零，即
ck,x（m1,m2,,mk-1）=0,
k≥3
（1.17）
由于高斯过程的高阶累积量（当阶次大于２时）等于零，而对于非高斯过程，至少存在着某个大于２的阶次k，其k阶累积量不等于零。
因此，利用高阶累积量可以自动地抑制高斯背景噪声（有色或白色）的影响，建立高斯噪声下的非高斯信号模型，提取高斯噪声中的非高斯信号（包括谐波信号）。
正因为这样，高阶累积量这一统计量已日益受到人们的重视并已成为信号处理中一种非常有用的工具。
因此，文中在今后的算法研究中均代用高阶累积量而不采用高阶矩。
1.5双谱及其性质
1.高阶谱的定义
设{x（n）}为零均值平稳随机过程，则其k阶累积量ck,x（m1,m2,,mk-1）的
（k-1）维付里叶变换定义为{x（n）}的k
∞
阶谱（kth-orderspectrum），即
∞
k-1
⎡⎤
ck,x（m1,m2,,mk-1）exp⎢-j∑ωimi⎥
i=1⎣⎦
（1.18）
Sk,x（ω1,ω2,,ωk-1）=
∑∑
m1=-∞
mk-1=-∞
通常，Sk,x（ω1,ω2,,ωk-1）为复数，其存在的充分必要条件是
ck,x（m1,m2,,mk-1）绝对可和，即
∞
∞
∑∑
m1=-∞
ck,x（m1,m2,,mk-1）∞
mk-1=-∞
高阶谱又称作多谱（Polyspectrum），通常k阶谱对应于（k-1）谱。
例如三阶
谱对应双谱（Bispectrum），四阶谱对应于三谱（Trispectrum），今后我们大多数采用多谱这一概念。
取k=2,3,4时，式（1.18）分别简化为功率谱、双谱和三谱公式，即
k=2，为功率谱
∞
S2,x（ω）=
（1.19）k=3，为双谱
∞
∑c
m1=-∞
2,x
（m）exp[-jωm]
∞
3,x
S3,x（ω1,ω2）=（1.20）
k=4，为三谱
∞
∑∑c
m1=-∞m2=-∞
（m1,m2）exp[-j（ω1m1+ω2m2）]
∞∞
S4,x（ω1,ω2,ω3）=
∑∑∑
m1=-∞m2=-∞m3=-∞
c4,x（m1,m2,m3）exp[-j（ω1m1+ω2m2+ω3m3）]
（1.21）
容易看出，式（1.19）就是维纳-辛钦定理。
可见，功率谱也是高阶谱的一种特殊形式。
2.双谱的性质
在高阶谱中，双谱处理方法最简单，且含有功率谱中所没有的相位信息，是高阶谱研究中的“热点”。
因此下面着重研究双谱及其性质。
设{x（n）}为零均值、三阶实平稳随机过程，其自相关函数和功率谱分别为rx（m）=c2,x（m）=E[x（n）x（n+m）]（1.22）
∞
S（ω）=S2,x（ω）=而其三阶累积量和双谱分别为
∑r
m=-∞
x
（m）exp[-jωm]
c3,x（m1,m2）=E[x（n）x（n+m1）x（n+m2）]
（1.23）
∞
∞
3,x
B（ω1,ω2）=S3,x（ω1,ω2）=
∑∑c
m1=-∞m2=-∞
（m1,m2）exp[-j（ω1m1+ω2m2）]
（1.24）
由式（1.23）可知，三阶累积量c3,x（m1,m2）具有如下对称性：
c3,x（m1,m2）=c3,x（m2,m1）=c3,x（-m2,m1-m2）=c3,x（m2-m1,-m1）
=c3,x（m1-m2,-m2）=c3,x（-m1,m2-m1）（1.25）
由式（1.24）双谱的定义及式（1.25）三阶累积量的对称性可知：
（1）B（ω1,ω2）通常是复数，即包含幅度和相位。
B（ω1,ω2）=B（ω1,ω2）exp[jφB（ω1,ω2）]
（2）B（ω1,ω2）是以2π为周期的双周期函数，即B（ω1,ω2）=B（ω1+2π,ω2+2π）
（3）B（ω1,ω2）具有如下对称性
B（ω1,ω2）=B（ω2,ω1）=B*（-ω2,-ω1）=B*（-ω1,-ω2）=B（-ω1-ω2,ω2）=B（ω1,-ω1-ω2）
=B（-ω1-ω2,ω1）=B（ω2,-ω1-ω2）（1.26）此外，双谱在实际应用中还具有如下重要特性：
（1）高斯过程：
如果{x（n）}为零均值、高斯平稳随机过程，则对于所有
m1,m2，都有c3,x（m1,m2）=0，因此B（ω1,ω2）=0。
（2）非高斯白噪声过程：
如果{w（n）}是具有E[w（n）]=0，
E[w（n）w（n+m1）w（n+m2）]=βδ（m1,m2）的非高斯白噪E[w（n）w（n+m）]=Qδ（m），
声过程，则其功率谱和双谱分别为一直线与一平面，即S（ω）=Q，B（ω1,ω2）=β。
（3）非高斯白噪声通过线性系统：
设线性系统的传递函数为H（z），系统的
2
输入为零均值非高斯白噪声{w（n）}，且E[w（n）]=0，E[w2（n）]=σw，
E[w（n）]=γ3w，则系统输出{y（n）}的功率谱与双谱分别为
3
S（ω）=σwH（ω）
2
2
（1.27）
*
B（ω1,ω2）=γ3wH（ω1）H（ω2）H（ω1+ω2）（1.28）
设H（ω）=H（ω）exp[jϕ（ω）]
（1.29）
（1.30）
则
B（ω1,ω2）=γ3w∙H（ω1）∙H（ω2）H（ω1+ω2）
B（ω1,ω2）=B（ω1,ω2）exp[jϕB（ω1+ω2）]
（2.31）
ϕB（ω1,ω2）=ϕ（ω1）+ϕ（ω2）-ϕ（ω1+ω2）
（2.32）
由上可见，双谱的幅度谱和功率谱均由H（ω）决定，因而双谱的幅度谱与功率谱的信息一样多。
但功率谱不含相位信息，而双谱则包含相位信息，这就使双谱在信号处理领域得到越来越多的应用，因为有些场合如对图像处理来说，相位信息比幅度信息还重要。
（4）非最小相位系统的辨识双谱含有相位信息，因此在非最小相位系统辨识中变得十分有用，现用一个简单的例子加以说明。
设输入为非高斯平稳白
2
噪声过程{w（n）}，它有E[w（n）]=0，E[w2（n）]=σw，E[w3（n）]=γ3w。
线性系统
为下列三种情形的二阶FIR系统。
1）最小相位系统H1（z）=（1-az-1）（1-bz-1）,系统输出为
y1（n）=w（n）-（a+b）w（n-1）+abw（n-2）
2）最大相位系统
H2（z）=（1-az）（1-bz）系统输出为
y2（n）=w（n）-（a+b）w（n+1）+abw（n+2）
3）混合相位系统
H3（z）=（1-az）（1-bz-1）系统输出为
y3（n）=-aw（n+1）+（1+ab）w（n）-bw（n-1）输出{y1（n）}，{y2（n）}及{y3（n）}具有相同的自相关序列，即
r（m）=E[y1（n）y1（n+m）]=E[y2（n）y2（n+m）]=E[y3（n）y3（n+m）]
0a1,0b1
2
r（0）=[1+a2b2+（a+b）2]σw
2r
（1）=[-（a+b）（1+ab）]σw
r
（2）=abσ
2
w
r（m）=0,m≥3
这就意味着它们具有相同的功率谱，因此利用功率谱无法将三个系统区分开来。
然而利用双谱则可以区分，因为{y1（n）}，{y2（n）}及{y3（n）}具有不同的三阶累积量，见表1.1。
这表明三阶累积量可以用来辨识非最小相位系统，这在地震信号反褶积及数据通信中有重要的应用。
表1.1具有相同自相关的三个系统的输出的三阶累积量
（5）混合高斯和非高斯系统的辨识设一过程的功率谱为S（ω），双谱为
B（ω1,ω2）。
若与S（ω）相匹配的线性系统的传递函数为H（z），即
S（ω）=H（ω）（1.33）
2
而与B（ω1,ω2）相匹配的线性系统的传递函数为T（z），即
B（ω1,ω2）=T（ω1）T（ω2）T（ω1+ω2）（1.34）*
当由式（1.33）求得的H（ω）与由式（1.34）求得的T（ω）不同时，可用来辨识高斯与非高斯分量组合的系统。
下面就来研究这个问题。
考虑如图1-1所示的过程zn，它由两个过程组成：
一为高斯白噪声ε（n）通过AR滤波器的输出x（n），另一为非高斯白噪声w（n）通过AR滤波器的输出y（n）。
设ε（n）与w（n）相互独立，
ε（n）x（n）
z（n）
w（n）y（n）
图1-1混合高斯和非高斯系统
2=1，γ3w=1。
于是z（n）的因此x（n）与y（n）相互独立。
为方便起见，设σε2=σw
双谱是x（n）和y（n）各自双谱的和，因为x（n）是高斯过程，其双谱为零，故z（n）的双谱就是y（n）的双谱
升级会员 