图像的盲分离.doc

1、 武汉理工大学信息处理课群综合训练与设计报告书 目录摘要1一盲分离原理31.1 盲信号处理的基本概念31.2盲信号处理的方法和分类31.3 盲源分离法41.3.1 盲源分离技术41.3.2 盲分离算法实现4二 ICA基本原理5三 FastICA算法原理及实现63.1 数据的预处理63.2 FastICA算法原理73.3 FastICA算法的基本步骤及流程图9四图像的盲分离仿真与分析10五总结14六 参考资料15附录1 matlab源程序16摘要简述了独立成分分析的基本原理以及利用FastICA算法进行信号分离的理论依据，并通过Matlab仿真实验实现了混合图像的盲分离，取得了较好的分离效果。结

2、果表明该算法收敛速度快，有良好的分离效果，是一种行之有效的混合图像盲分离方法。关键词：独立成分分析 FastICA 盲分离AbstractIndependent Component Analysis is a new signal processing method whichDevelop rapidly during last few years. This paper introduces the basic model of the algorithm,analyzes the math principle of frequently-used rapid fixed-point al

3、gorithm for independent component analysis,and applies the algorithm in blind separation of three images which are mixed randomly.The result shows that the algorithm is effective and reliable.Key words:Independent Component Analysis FastICA Blind Signal Separation一盲分离原理1.1 盲信号处理的基本概念盲信号处理是现代数学信号处理、算

4、智能学近年来迅速发展的重要方向。电子信息、通信、生物医学、图像增强、雷达、地球物理信号处理等众多领域有广泛的应用前景。盲信号处理就是利用系统(如无线信道、通信系统等)的输出观测数据,通过某种信号处理的手段, 获得我们感兴趣的有关信息(如原来独立发射的信号等)。盲信号的研究是当前学术界的一个研究热点，而盲信号分离则是盲信号研究中的一个重要的课题。BSS是指从观测到的混合信号中分离出未知的源信号。盲信号中的“盲”意味着两个方面：第一，对源信号一无所知或只有少许的先验知识。第二，混合本身是未知的。这看似是一个不可能的任务，然而理论和实际都证实了只需要相当简单的假设，就可以得到该问题的解。这一特点使得

5、BSS成为一种功能相当强大的信息处理方法。混合矩阵分离矩阵噪声向量S(t)X(t)Y(t)图1.1 盲处理原理框图1.2盲信号处理的方法和分类在盲信号处理中，就源信号进过传输通道的混合方式而言，其处理方法可分为线性瞬时混合信号盲处理、线性卷积混合信号盲处理和非线性混合信号盲处理三类。根据通道传输特性中是否含有噪声、噪声特性（白噪声、有色噪声等）、噪声混合形式，可分为有噪声、无噪声盲处理，含加性噪声和乘性噪声混合信号盲处理等。按源信号和观测信号数目的不同可以将混合方式分为欠定 、适定和超定情况 ;按源信号特性的不同分为 : 平稳 、非平稳 、超高斯 、亚高斯 、超高斯和亚高斯混合分离等 。盲处理

6、的目的可分为盲辨识和盲源分离两大类。盲辨识的目的是求得传输通道混合矩阵（新型混合矩阵、卷积混合矩阵、非线性混合矩阵等）。盲源分离的目的是求得源信号的最佳估计。当盲源分离的各分量相互独立时，就称为独立分量分析，即独立分量分析是盲源分离的一种特殊情况。1.3 盲源分离法1.3.1 盲源分离技术盲源信号分离(Blind Source Separation, BSS) 是20世纪90年代迅速发展起来的一个研究领域 。它具有可靠的理论基础和许多方面的应用潜力。其在生物医学工程 、医学图像 、语音增强 、遥感 、通信系统 、地震探测等领域有着广泛而诱人的前景 ,盲源分离成为信号处理和神经网络领域的研究热点

7、 。盲源分离是针对从检测的混合信号中估计或恢复源信号的问题提出的，是指源信号、传输通道特性未知的情况下，仅由观测信号和源信号的一些先验知识（如概率密度）估计出源信号各个分量的过程。例如最著名的鸡尾酒会问题，仅根据多个麦克风检测信号分离或恢复出某种语音源信号。1.3.2 盲分离算法实现在实际的ICA盲分离算法应用中,一般有时是必需的对观测数据做一些预处理技术，如用主成分分析 ( PCA )降维和白化,用滤波器进行滤波降噪处理等。另外,由于恢复准则的局限以及先验知识的缺乏,盲信号分离方法只能得到源信号的波形,而无法确定信号的幅值以及信号之间的顺序。这两点都需要人为的制定规则(如规定信号的方差为1来

8、确定幅值)来确定。二 ICA基本原理独立分量分析旨在对独立信源产生且经过未知混合的观测信号进行盲分离，从而重现原独立信源，其应用主要集中在盲源分离和特征提取两方面。ICA问题可简单描述为：设有N个未知的源信号构成一个列向量,其中，t是离散时刻，取值为0,1,2，设A是一个维矩阵，一般称为混合矩阵（mixsing matrix）。设是由M个可观察信号构成的列向量，且满足下列公式1： 公式1BSS的问题是，对任意t，根据已知的在A未知的条件下求未知的。这构成一个无噪声的盲分离问题。设是由M个白色、高斯、统计独立噪声信号构成的列向量，且满足下列公式2： 公式2则由已知的在A未知是求的问题是一个有噪声

9、盲分离问题。ICA的目的是对任何t，根据已知的在A未知的情况下求未知的，ICA的思路是设置一个维反混合阵，经过W变换后得到N维输出列向量，即有公式3： 公式3整个过程可以表示成如图2.1所示： 观测信号未知源信号 恢复信号 分离系统W 混合系统AY(t)X(t)S(t)图2.1 ICA的线性模型如果通过学习得以实现，则，从而达到了源信号分离目标。三 FastICA算法原理及实现ICA算法的研究可分为基于信息论准则的迭代估计方法和基于统计学的代数方法两大类，从原理上来说，它们都是利用了源信号的独立性和非高斯性。基于信息论的方法研究中，各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了

10、一系列估计算法。如FastICA算法, Infomax算法，最大似然估计算法等。基于统计学的方法主要有二阶累积量、四阶累积量等高阶累积量方法。本课程设计主要讨论FastICA算法。3.1 数据的预处理 一般情况下，所获得的数据都具有相关性，所以通常都要求对数据进行初步的白化或球化处理，因为白化处理可去除各观测信号之间的相关性，从而简化了后续独立分量的提取过程，而且，通常情况下，数据进行白化处理与不对数据进行白化处理相比，算法的收敛性较好。若一零均值的随机向量满足，其中：为单位矩阵，我们称这个向量为白化向量。白化的本质在于去相关，这同主分量分析的目标是一样的。在ICA中，对于为零均值的独立源信号

11、，有：，且协方差矩阵是单位阵，因此，源信号是白色的。对观测信号，我们应该寻找一个线性变换，使投影到新的子空间后变成白化向量，即： 公式4其中，为白化矩阵，为白化向量。利用主分量分析，我们通过计算样本向量得到一个变换 公式5其中和分别代表协方差矩阵的特征向量矩阵和特征值矩阵。可以证明，线性变换满足白化变换的要求。通过正交变换，可以保证。因此，协方差矩阵： 公式6 再将式代入，且令,有 公式7由于线性变换连接的是两个白色随机矢量和，可以得出一定是一个正交变换。如果把上式中的看作新的观测信号，那么可以说，白化使原来的混合矩阵简化成一个新的正交矩阵。证明也是简单的： 公式8其实正交变换相当于对多维矢量

12、所在的坐标系进行一个旋转。在多维情况下，混合矩阵是的，白化后新的混合矩阵由于是正交矩阵，其自由度降为，所以说白化使得ICA问题的工作量几乎减少了一半。白化这种常规的方法作为ICA的预处理可以有效地降低问题的复杂度，而且算法简单，用传统的PCA就可完成。用PCA对观测信号进行白化的预处理使得原来所求的解混合矩阵退化成一个正交阵，减少了ICA的工作量。此外，PCA本身具有降维功能，当观测信号的个数大于源信号个数时，经过白化可以自动将观测信号数目降到与源信号维数相同。3.2 FastICA算法原理 FastICA算法，又称固定点(Fixed-Point)算法，是由芬兰赫尔辛基大学Hyvrinen等人

13、提出来的。是一种快速寻优迭代算法，与普通的神经网络算法不同的是这种算法采用了批处理的方式，即在每一步迭代中有大量的样本数据参与运算。但是从分布式并行处理的观点看该算法仍可称之为是一种神经网络算法。FastICA算法有基于峭度、基于似然最大、基于负熵最大等形式，这里，我们介绍基于负熵最大的FastICA算法。它以负熵最大作为一个搜寻方向，可以实现顺序地提取独立源，充分体现了投影追踪（Projection Pursuit）这种传统线性变换的思想。此外，该算法采用了定点迭代的优化算法，使得收敛更加快速、稳健。因为FastICA算法以负熵最大作为一个搜寻方向，因此先讨论一下负熵判决准则。由信息论理论可

14、知：在所有等方差的随机变量中，高斯变量的熵最大，因而我们可以利用熵来度量非高斯性，常用熵的修正形式，即负熵。根据中心极限定理，若一随机变量由许多相互独立的随机变量之和组成，只要具有有限的均值和方差，则不论其为何种分布，随机变量较更接近高斯分布。换言之，较的非高斯性更强。因此，在分离过程中，可通过对分离结果的非高斯性度量来表示分离结果间的相互独立性，当非高斯性度量达到最大时，则表明已完成对各独立分量的分离。负熵的定义： 公式9 式中，是一与具有相同方差的高斯随机变量，为随机变量的微分熵 公式10 根据信息理论，在具有相同方差的随机变量中，高斯分布的随机变量具有最大的微分熵。当具有高斯分布时，；的非高斯性越强，其微分熵越小，值越大，所以可以作为随机变量非高斯性的测度。由于根据公式10计算微分熵需要知道的概率密度分布函数，这显然不切实际