盲信号分离基础知识.docx

1、盲信号分离基础知识专业课程设计学习材料源信号分离Source Signal Separation第一部分 简单介绍一、 目标我们的目标就是学习源信号分离理论的基础知识和源信号分离时涉及的相关学科知识，最终从观测信号中将源信号分离开来。注意：此时信号源和混合形式可能是未知的。图1 源信号波形图2 混合信号波形图3 分离信号波形二、分离方法1、FFT法；条件：不同源信号占有不同的频带2、自适应滤波方法；条件：已经信号的某些特征3、盲信号分离方法；条件：遵从某些统计假设条件三、盲分离的基本模型盲信号分离的基本模型如图（1）所示。图1 盲信号分离的基本模型其中：，为个源信号；，为个观测信号；，为待求解

2、的个分离信号；，为个噪声信号，。将其分别写成矩阵形式为： （1） 向量、分别称作源信号、观测信号、分离信号、噪声信号。通常意义的盲信号分离是指只有观测信号已知，并且中含有目标源信号和混合系统的未知信息，而目标源信号特性、源信号的混合信息、噪声信号对观测者来说都是未知的。盲信号分离的任务就是利用某些统计假设条件完成从中估计源信号波形及参数，使得分离信号满足。图（1）的盲信号分离模型可以概括表示为通式（2）和式（3）的数学模型，分别称为系统混合模型和系统分离模型 （2） （3）式中：表示未知混合系统的混合函数；表示分离系统的分离函数；没有噪声的情况下，和互为反函数，此时混合系统与分离系统互为逆系统

3、。依据混合系统的混合方式，盲信号分离问题分为线性瞬时混合盲信号分离、线性卷积混合盲信号分离及非线性瞬时混合盲信号分离三种主要形式，线性瞬时混合盲信号分离是最简单、最经典的盲信号分离模型，其理论和算法的发展最完善、最系统、最成功。令,即得线性瞬时混合模型的数学表达式： （4） （5）其中：为混合系数矩阵，称为系统混合矩阵；为分离系数矩阵，称为系统分离矩阵。线性瞬时混合表示接收器“同时”接收到多个源发射来的信号，信号传输过程无延迟滤波仅有缩放作用，本论文主要针对线性瞬时混合模型进行研究。第2部分 盲信号分离理论基础BSS是盲信号处理领域的研究内容之一，主要目标是从观测信号中获得源信号的最佳估计。它

4、是统计信号处理、信息论及神经网络等多学科相结合的综合性分支内容，涉及概率统计、矩阵论、信息论、泛函及人工神经网络等学科基础知识，本章主要总结BSS理论的基础知识和研究盲信号分离时涉及的相关学科知识，为进一步研究BSS问题做准备。2.1 线阵列信号的盲分离数学模型若测量向量来自间距为的个各向同性阵元组成的均匀线列阵，个点源向量位于远场，来自方向，记为，如图（2.1）所示。图2.1线列阵接收模型Fig2.1 The model of linear array receive signals以阵元作为参考阵元，式（1-4）与式（1-5）可写为： （2-1） （2-2） （2-3） （2-4）表示阵列

5、对第个源的方向向量；为中心角频率；令，表示期望信号波前到达相邻两阵元的时间差。设、分别为、与的解析形式。均匀线列阵接收远场信号，可将式（2-1）表示为： （2-5）其中， 在水声信号处理领域中系统混合矩阵是基阵对个目标入射方向的响应向量构成的矩阵，又称为基阵的阵列流形。相应的系统分离模型可表示为： （2-6）是的分离矩阵，是分离信号的解析形式。盲信号分离的任务就是寻找合适的分离矩阵，使式（2-6）成立，再取的实部，即：，恰好是独立源信号的一个估计，即。2.2 盲信号分离的代价函数及优化准则在BSS问题中，不仅需要建立系统数学模型，还要考虑BSS算法的代价函数，使得BSS的分离系统对应于代价函数

6、的极值点（极大值点或极小值点），再选用某种优化算法寻找代价函数的极值点。当代价函数达到极值点后，对应的系统即为待求解的分离系统。BSS算法的代价函数大都是建立在独立分量分析（Independent complement Analysis：ICA ）数学模型基础之上，ICA是为了解决盲分离问题而提出并发展起来的一类信号处理技术，现已成为解决盲分离问题的有力工具。然而ICA和BSS方法并不能完全等同或相互替代，BSS比ICA具有更宽广的适用范围，原因是：ICA只在源信号相互独立的条件下适用，而对BSS而言，即便源信号之间存在相关甚至完全相关，依然可能采用其它方法分离信号；BSS的目的是分离源信号，

7、而ICA的目的是寻找某种变换，保证输出信号的各分量之间尽可能地相互独立；另外，很多情况下BSS方法经常使用随机向量的二阶统计量（SOS），而ICA则常常使用更高阶的统计量（HOS）。如果源信号之间满足相互独立的假设条件，ICA和BSS方法可以用相似甚至相同的数学模型来描述，并使用相似的或相同的算法实现源信号的分离，因此，BSS和ICA二者极其相似而又相互区别。根据中心极限定理，独立随机变量和的分布比其中任何一个随机变量更接近高斯分布，因此非高斯性可以作为随机信号相互独立性的度量。目前，ICA理论的优化准则主要有基于信息论的优化准则和基于高阶累积量的优化准则。2.2.1 基于信息论的代价函数及优

8、化准则基于信息论的评价准则主要包括最大似然估计准则、最大熵准则、信息最大化法准则、最小互信息准则和负熵最大化准则，分别介绍如下。2.2.1.1 最大似然准则最大似然估计（maximum likwlihood estimator：MLE）是检测理论中常用的一种统计检测方法，它的目标是根据观测数据样本估计信号的参数。K-L散度（Kullback-Leibler divergence）用来度量随机变量概率密度函数的相似程度，也就是衡量各种分布之间的接近程度。设和是关于随机向量的两种不同分布的概率密度函数，则相对于之间的散度定义为： （2-7） （2-8）当与同分布时，；式（2-8）是的自信息量的平均

9、值，称为熵，用来描述随机事件的不确定性程度。使用K-L散度作为最大似然估计的似然函数，建立似然函数的代价函数。针对式（2-1）的混合模型，设为观测向量的概率密度，为源信号的概率密度，由概率论及矩阵论理论，知与满足： （2-9）则观测信号的似然函数定义为： （2-10）令式（2-2）的分离矩阵满足时，根据矩阵论理论将对数似然函数改写为： （2-11）为独立同分布观测信号的快拍数。最大似然估计就是选取使达到最大值的作为的估计，即需要满足： （2-12），可见，估计参数的最大似然估计值问题，就是寻找似然函数的极大值问题。2.2.1.2 最小互信息准则互信息量（Mutual Information）用

10、来度量两个随机变量的概率密度函数的相似性。从信息理论角度看，如果源信号相互独立，要将其从它们的混合信号中分离出来，要保证分离信号之间相互独立。所以在源信号统计独立条件下，最小化输出信号之间的互信息量可以作为独立性的分离准则，输出信号之间的互信息量越小，说明信号之间的相关性越小。设任意随机变量和，先验概率和后验概率分别为和，对互信息量定义为的后验概率与先验概率比值的对数，即 （2-13）则定义随机向量对的平均互信息量可推导出： （2-14）同理，定义对的平均互信息量为： （2-15）从而有： （2-16）根据上式输出信号之间的互信息量可表示为： （2-17）为分离信号的边缘熵，为联合熵。针对式（

11、2-2）的分离模型，输出信号之间的互信息量表示为： （2-18）因为与无关，互信息量的代价函数可表示为： （2-19）最小化式（2-19），可使输出信号的各分量趋于独立，即得到最小互信息（Minimum Mutual Information：MMI）准则： （2-20）2.2.1.3 信息最大化准则 (最大熵准则)由互信息的定义可知，表示系统输出信号的不确定性测量，输出信号使输入信号的不确定降低，因此最大化输入输出间的互信息的Infomax准则实际上就是最小化输出和输入信号之间的信息冗余度。根据式（2-17），最小化互信息量，也就是最大化输出信号的联合熵，即为最大熵准则，也称信息最大化（Inf

12、omax）准则。2.2.1.4 负熵最大化准则负熵（Negentroy）用来度量非高斯分布分布相对高斯分布的偏离程度。它是度量信号非高斯性的一种准则，定义为高斯分布熵与随机向量熵之间的偏差，即： （2-21）负熵可以使用任意概率分布和具有相同协方差的高斯分布之间的散度表示，即 （2-22）负熵是ICA中的重要概念之一，它是非负值，因为在所有方差相等的随机变量之中，高斯随机变量的熵最大，所以只有当是高斯分布时负熵等于零，因而可以利用负熵来度量非高斯性。负熵与互信息之间的关系可表示为： （2-23）因此最小化互信息等价于最大化边缘负熵，边缘负熵最大化的代价函数可表示为： （2-24）2.2.2 基

13、于高阶统计量的代价函数及优化准则基于高阶统计量的算法可大致分为两类：显累积量算法和隐累积量算法。显累积量算法是指代价函数或优化算法中明确含有高阶累积量，如基于峭度（Kurtosis）的算法；而隐累积量算法是指高阶累积量隐含地嵌入到代价函数或优化算法中，代价函数或优化算法中不明确含有高阶累积量，如固定点算法或快速ICA算法、H-J算法等；可以选取合适的非线性函数引入高阶统计量，如tanh()函数、sigmoid()函数等。选择合适的分离准则是实现盲信号分离的关键，常用的分离准则经常需要计算互信息量、熵或负熵等物理量，这些量的计算往往很复杂，甚至无法求解，因此通过引入高阶矩和高阶累积量来估计这些量

14、。高阶矩和高阶累积量是描述随机变量统计特性的基本工具。基于高阶统计理论的盲分离算法包括基于二阶统计量的盲分离算法和基于高阶统计量的盲分离算法，基于高阶统计理论的盲分离算法主要有典型的H-J隐累积量算法和基于峭度的盲分离算法。前者的训练算法中可以选取任意合适的非线性函数，这个非线性函数中其实隐含地引入了高阶统计量；后者是以峭度（Kurtosis）作为代价函数的盲分离方法，二者一般都是利用梯度搜索算法来逐步逼近分离矩阵，是一种自适应训练算法。（1）负熵和互信息负熵和互信息作为一种独立性度量的分离准则其实质是一种基于高阶累积量的非高斯性分离准则，因为信号的联合概率密度和边缘概率密度直接计算比较困难，因此引入高阶矩、高阶累积量来逼近负熵或熵、互信息量，计算相对简单。（2）峭度峭度(kurtosis)是一种衡量源信号随机性质的重要高阶统计量，定义为： （2-25）实际应用时，经常使用其归一化定义： （2-26）峭度是描述随机变量概率函数同高斯分布的偏离程度，即表示随机变量分布的平坦程度：当峭度等于0时，信号为高斯信号；峭度大于0时，信号为超高斯信号；峭度小于0时，信号为亚高斯信号，所以峭度的大小也就是表示信号高斯性的强弱。当信号