盲信号分离问题的分类和现状文档格式.docx

1、2. 1 盲信号分离问题的数学模型盲信号分离是指在不知道源信号和信道传输参数的情况下 , 根据输入信号的统计特性 , 仅由观测信号恢复出源信号各个独立成分的过程 。 盲信号分离研究的信号模型主要有三种 :线性混合模型、 卷积混合模型和非线性混合模型 。 其中线性混合模型在神经网络、 信号处理等研究中常常用到 , 其数学模型描述为 : x （t =A s （t +n （t （t =1, 2, （1式中 :x （t m 维观测信号向量 , x （t =x 1 ,x 2, , x m T ; s （t n 维 源 信 号 向 量 , s （t =s 1, s 2, , s T ; n （t m 维

2、加 性 噪 声 向 量 ,n （t =n 1, n 2, , n m T ; A m n 维混合矩阵 。盲信号分离问题的实质就是在源信号 s （t 和 混合矩阵 A 都未知的情况下 , 仅根据观测信号 x （t 和源信号的统计特性确定一分离矩阵 W , 使 Y （t = W X （t =M PS （t , 其中 M 为一个实对角阵 , P 为一 个交换矩阵 , 也就是说 Y （t 相对于 s （t 只是改变 了幅值和各分量的排列顺序 , 这也是盲分离问题固 有的两种不确定性 6。2. 2 盲信号分离问题的前提假设为了使盲信号分离问题具有可分性 , 必须对混 合矩阵和源信号做某种假设 , 这些假

3、设包括 : 源信 号 s （t 的各分量相互统计独立 , 且最多只有一个分 量服从高斯分布 ; 各个源信号分量具有零均值和 单位功率 ; 混合矩阵 A 列满秩 , 即 m n 。 独立性 假设是盲信号分离的立足点 , 由于不同的源信号通 常由相互独立的物理系统发出 , 因此这也是一条合 理的假设。 最多只有一个分量服从高斯分布是因为 多个高斯信号的线性混合仍然服从高斯分布 , 从而 是不可再分的。 单位功率假设将源信号振幅的动态 特性归并到混合矩阵 A 相应的列中。由于混合矩阵 列亏损时 , 只有部分信号可以被提取 , 因此约定 A 是列满秩矩阵 , 确保所有的源信号分量都可以被 提取。3 盲

4、信号分离对比函数盲信号分离的基本思想是根据某种优化准则 , 选择合适的对比函数 , 采用某种优化算法搜索对 比函数的极值点 。对比函数是盲信号分离研究的 出发点 , 它决定算法的统计性能 , 包括一致性 、 渐 近方差和稳健性等 。目前存在的对比函数 2主要3收稿日期 :2009204227（修改稿 基金项目 :辽宁省自然科学基金资助项目 （20072025有以下几种 。3. 1 高阶累积量对比函数（1 高阶逼近对比函数。高阶累积量对比函数 16: J （Y; W =ni =1cum 4（y i 2（2cum 4（y i y i 的四阶累积量 。Moreau 等人证明上式中的平方运算可以简化用

5、 绝 对 值 运 算 代 替 , 从 而 有 高 阶 累 积 量 对 比 函 数 27=n i =1cum 4（y i （3（2 最大去高斯性对比函数。负熵 （Negentr opy 8 J （y =P （y -y （4P G （y 与 （y 机分布 ; H G （y , H （y 随机变量的微分熵。负熵的近似对比函数 8,9E G （y i -E G （v 2（5v 标准的高斯随机变量 ; G （ 任意的非二次函数 , 常用的函数主要有 : G 1（u =alncosh （au （1 a 2 G 2（u =-b-u 2 （b 1 G 3（u 4u 43. 2 信息论对比函数（1 最小互信息对

6、比函数 MM I10 W =nH （y i -H （X -logdet （W （6H （ 随机变量的微分熵 ; W 正交分离矩阵。（2 最大熵对比函数 M E11=H g （Y =H g （W X （7式 中 :g （Y 非 线 性 的 列 向 量 , g （Y g 1（y 1 , , g n （y n T , 通常 选择 Sig moid 非线 性函数 g （y i =1+e -y i-1为源信号的分布建模。（3 最大似然函数 ML 12i =1log P i （y i ; W +log det （W （8P i （ 第 i 个源信号的概率密度函数 （这里假设已知 。（4 13 W =-珓

7、x -W Tg （W 珓 x （9珓 x 观测信号 x 经白化预处理获得的信号向量 ; g （ 非线性函数。4 盲源分离算法实现 4. 1 线性混合盲分离算法近年来 , 为解决盲信号分离问题 , 人们提出了许 多算法。 根据信号的提取方式不同 , 盲信号分离算 法可分为串行算法和并行算法两大类。前者逐个提取信号 , 后者实现所有信号的同步分离。根据工作 方式不同 , 盲信号分离算法有离线和在线之分 , 前者 是批处理算法 , 后者是自适应算法。根据适用的范 围不同 , 盲信号分离算法可分成单一峰度信号的盲 , 14（Cardos o 等人提出的基于高阶统计的联合对角化 （JADE 算法 15是

8、一种基于四阶累计量的学习算法 , 是一种典型的离线算法 , 对各种情况的盲信号 均具有一定的分离作用 , 但是随着源信号相关性的 增强 , JADE 算法的分离效果也越差。（2 独立分量分析算法 （I CA :信号经过变换后 , 使不同信号分量之间的相关性最小化 , 并尽可能 相互统计独立。 目前已经有很多有效的在线 I CA 算 法 , 如自然梯度算法、 EASI 算法、 广义 I CA 算法、 灵 活 I CA 算法和迭代求逆 I CA 算法等。 这些算法都可 归类为最小均方算法 （LMS , 但 LMS 型算法存在收 敛速度和稳态性能之间的矛盾。几种典型的独立分量分析算法如下 :a. 快

9、速定点算法 （FastI CA 。 FastI CA 算法16, 17基于非高斯性最大化原理 , 使用固定点迭代理论寻找 W TX 的非高斯性最大值。 该算法采用牛顿迭代算法 , 对观测变量 X 的大量采 样点进行批处理 , 每次从观测信号中分离出一个独 立分量 , 是一种快速的寻优迭代算法。 FastI CA 算法 适用于任何非高斯信号 , 具有良好的收敛性 （二次收 敛 , 同时不需要选择学习步长。但该算法只能以批 处理的方式进行 , 不适合实时应用的需要, 而且随着 信号源个数的增加 , 算法性能会明显变差。算法的 梯度公式如下 : W=diag （i d iag （i +Eg （y y

10、TW （10i =-i +Eg （y i ; i =-E y i g （y i 。b . 自然梯度算法 5, 18。由于分离矩阵的变化空间是黎曼空间 , 而自然 梯度W W TW 是随机梯度 W在黎曼 空间的扩展 , 所以自然梯度更真实地反映了最速下 降方向 , 同时由于右乘正定矩阵消去了矩阵求逆运 算 , 因此自然梯度算法在收敛速度和稳定性方面都 8 化 工 自 动 化 及 仪 表 第 36卷 较随机梯度有所改善。 梯度公式如下 :=I -g （y yW（11 学习步长。c . 等变化自适应算法 （EASI 19EASI 算法用相对梯度W T代替一般 的随机梯度进行优化计算 , 是一种将白化

11、过程和去 除高阶相关过程同时进行的一种具有等变化性的算 法 。 但是 EASI 算法需要选取学习率参数 , 且其选取 是否合适直接影响算法的收敛性能 , 且其对于超高 斯信号的收敛速度没有递归最小二乘 （RLS 快 。 其梯度公式如下 :=I -yy T+g y T-T（有等变化性 , 存在的情况。在亚高斯和超高斯信号同时存在时 , 可以使用广义 I CA 算法和灵活 I CA 算法等自适应算 法 , 但它们的计算比较复杂 。（3 非线性主分量分析 （PCA 算法 。非线性 PCA 算法是将非线性函数引入标准的 主分量分析算法中 , 这个非线性函数将数据的高阶 统计量以隐含的方式引入运算 ,

12、使得标准的 PCA 算 法能完成对源信号的分离 。 由于高斯数据三阶以上 的统计量为零 , 因此算法要求输入为非高斯数据 , 同 时需要预白化处理。基于非线性 PCA 准则的算法 主要有以下几种 :a. RLS 型算法20.RLS 型算 法 从 非 线 性 主 分量 分 析 准 则 函 数J （Y;g （W 珓 x 2出发 , 在 Yang等人的投影逼近子空间追踪 （PAST 算法中引入非 线性函数 , 进而得到 RLS 迭代规则。算法通过遗忘 因子的作用 , 利用了当前及以前一段时刻的观测数 据来更新分离矩阵 , 更新幅度和质量都优于梯度型 算法 。b . 非线性 PCA 子空间学习算法21

13、该算法是从鲁棒 PCA 子空间学习算法改进而来 , 在其迭代算法中引入非线性函数 g （得到非线 性 PCA 子空间分离矩阵迭代计算公式 : W （k+1 =W （k +（k （k -W g （Y g （Y T（13（k 增益参数 , 通常取 0. 5或 1。一般 超 高 斯 信 号 g （t =t 3, 亚 高 斯 信 号g （t =tanh （t 。c . 双梯度算法 （B I G 算法 22, 23 W （k +1 =W （k +（k v （k gy （k +（k W （k （I -W TW （14（k 增益参数 , 通常取 0. 5或 1。d . 非线性 GHA 算法。非线性 GHA

14、算法24是在标准的 GHA 算法中引入非线性函数实现信号盲分离的。+1 =W （k +（k gy i （k v （k -ij =1g y i （k W j （k （i =1, 2, , m （15由于 , 收敛速度 慢 , , 算法能够根 , 不需要选取 , 但运算量高于梯度下 4. 2 非线性混合盲分离算法在非线性混合模型中 , 盲信号分离算法的分离 目标是获取逆线性混合矩阵。 非线性盲分离 14, 25的研究主要有以下几类方法 :（1 自组织映射 （S OM 法26该算法不考虑非线性混合的具体形式 , 但其网络复杂性会随着源信 号数目的增多呈指数增长 , 且在分离连续源信号时 存在严重的插

15、值误差。（2 感知器模型法271992年 , Burel 首先提出用一个两层感知器和基于 BP 思想的无监督训 练算法 , 通过梯度下降算法最小化互信息量准则 , 得到一种可用于非线性混合信号的盲分离算法 。1998年 , Yang 和 Amari 利用两层感知器网络结构 ,通过最大熵和最小互信息作为测量独立的代价函 数 , 提出了 BP 网络训练算法 , 当合理选择非线性 函数时 , 该算法可以分离出一些特定非线性混合 的源信号 。（3 径向基函数网络法282001年 , Tan 等人提出了使用径向基函数 （RBF 神经网络逼近非线性混 叠的逆映射 , 实现盲信号分离。（4 后非线性混合盲分

16、离方法29, 301997年 ,Taleb 和 Jutten 首先提出了后非线性混合模型 , 同时指出这类模型具有可分离性 , 并针对这类模型 提出 了 一 种 非 线 性 混 合 盲 分 离 算 法 。 Solazzi 和Uncini 也针对后非线性混合模型 , 基于信息量最大化准则 , 利用自适应 B 2样条函数 , 提出了样条神经网络后非线性盲分离算法 。文献 31利用多个独 立同分布信 号的线性组 合仍服 从高斯 分布的 特 性 , 先将观测信号变成高斯信号 , 然后用瞬时线性 混合的算法分离提取源信号 , 这种算法省去了求 逆的过程 。（5 贝叶斯集合学习算法32该算法采用多层感知器

17、神经元网络 （MLP , 能够对非线性静态和动9 第 3期 朱 茉等 . 盲信号分离问题的分类和现状态过程实现盲分离。（6 基于遗传算法的盲分离方法 33:该算法基 于非线性混合模型 : X （t =A f HS （t （16 式中 :A 和 H 线性 、 瞬时结构的混合矩阵 。 利用遗传算法使信号非线性混合度最小化 , 然 后对去除非线性后的数据进行线性分离 , 从而实现 盲分离。与传统的梯度算法相比 , 基于遗传算法的 盲分离方法有着更快的收敛速度和稳定性 , 能够在 全局范围内寻找最优解。5 盲信号分离问题的发展方向展 , , （1号分离问题的研究 , 包括源信号个数的有效确定 , 观

18、测信号个数比源信号个数多 （少 的超 （欠 定等问 题的研究 , 特别是关于欠定问题的研究。（2 非平稳 、 非高斯混合信号的盲分离问题的 研究 。（3 目前大多数算法都是在混合矩阵为列满秩 的假设前提下完成的 , 当混合矩阵不满足列满秩的 情况下如何尽可能多地去提取源信号 。（4 带噪声混合信号的盲分离。现有的盲源分 离算法和盲反卷积算法 , 大都假设无噪声或者把噪 声看作一个独立源信号。 如何将现有的盲分离算法 推广到一般的噪声混合模型 , 是有待于进一步研究 的问题。（5 各分量的排列顺序和幅值本身存在的不确 定性 , 如何按顺序输出以及只提取一个或多个感兴 趣信号的盲分离问题研究 。（

19、6 各种盲源分离算法的全局收敛性、 渐近稳 定性以及鲁棒性的研究等 。（7 卷积混合模型和对于更一般的非线性混 合模型盲分离问题的研究较为复杂 , 有待进一步 解决 。6 结 论十几年来 , 盲信号分离在理论研究和算法方面 都取得了很好的成果 , 在一些实际领域中也得到了 初步的应用。但是在实际的盲信号分离问题中 , 很 少能够碰到严格符合线性混合模型的信号 , 而且在 实际信号的处理问题中总会存在观测噪声的干扰 , 使得盲分离算法对实际混合信号的模型误差的鲁棒 性以及抗噪声干扰的能力都比较差 。 目前对于盲分 离的研究仍然很不成熟 , 许多理论问题和算法的研 究也有待进一步解决。参考文献 :

20、1 HAYKI N S, CHEN Z . The Cocktail Party Pr oble m J .Neural Computati on, 2005, 17:1875-1902.2 JUTTEN C, HERAULT J. B lind Separati on of Sources, Part I : An Adap tive A lgorithm Based on Neur m i m etic A rchitecture J .Signal Pr ocessing, 1991, 24（1 :1-10.3 COMON P . I ndependent Component a Ne

21、w Concep t J .Signal Pr ocessing, 1994, 36（3 :314.4 A on Maxi m izati on Ap 2 on onJ .Neural （6-1159.5GradientWorks Efficiently in LearningJ . Computati on, 1998, 10（2 :251-276.6 李小军 , 朱孝龙 , 张贤达 . 盲信号分离研究分类与展望 J .西安电子科技大学学报 :自然科学版 , 2004, 31（3 :399-404.7 MOREAU E, MACCH I O. H igh 2order Contrasts f

22、 or Self 2adap 2 tive Source Separati onJ .I nt J of Adap tive Contr ol and Signal Pr ocessing, 1996, 10:19-46.8 HY VAR I N EN A. Gaussian Moments for Noisy I ndependent ComponentAnalysisJ .I EEE Signal Pr ocessingLetters, 1999, 6（6 :145-147.9 HY VAR I N EN A. Ne w App r oxi m ati on of D ifferentia

23、l Entr opy for I ndependent Component Analysis and Pr oject Pursuit C / Pr oceeding of the 1997Conference on Advanced in Neural I n 2 for mati on Pr ocessing Syste m s 10. Ca mbridge, MA:M I T Press, 1998:273-279.10 Y ANG H H, AMAR I S . Adap tive On 2line Learning A lgorithm s for B lind Separati o

24、n:Maxi m um Entr opy and M ini m um Mutual I nfor mati on J .Neural Computati on, 1997, 9（5 :1457-1482.11 BELL A J, SEJNOW SKI T J. An I nf or mati on Maxi m izati on Ap 2 p r oach t o B lind Separati on and B lind Deconvoluti onJ .Neu 2 ral Computati on, 1995, 7（6 :1129-1159.12 CARDOS O J F . I nf

25、or max and Maxi m um L ikelihood for Source Separati onJ .I EEE Signal Pr ocessing Letters, 1997, 4（4 : 112-114.13 K ARHUNE N J, P AJUNEN P, OJA E . The Nonlinear PCA Cri 2 teri on in B lind Source Separati on:Relati ons with O ther Ap 2 p r oachesJ .Neur ocomputing, 1998, 22（1 :5-20.14 李木森 , 毛剑琴 .

26、盲信号分离的现状和展望 J .信息与电 子工程 , 2003, 1（1 :69-79.15 CARDO S O J F, S OULOUM I CA A. B lind B eamfor m ing for Nongaussian SignalsJ .I EEE Pr oceedings, 1993, 140（6 : 362-370.16 HY VAR I N EN A. A Fast and Robust Fixed 2point A lgorithm s for I ndependent Component AnalysisJ .I EEE Trans Neural Net w orks,

27、 1999, 10（3 :626-634.17 曾生根 . 快速独立分量分析方法及其在图像分析中的若干 应用研究 D.南京 :南京理工大学 , 2004.18 AMAR I S . Neural Learning in Structured Parameter Spaces: Natural R ie mannian GradientC /Advances in Neural I n 2 f or mati on Pr ocessing Syste m s . Ca mbridge, MA:M I T Press,1 化 工 自 动 化 及 仪 表 第 36卷 1997.19 CARDOS O J