像素级图像融合讲解.docx

1、像素级图像融合讲解（威海）UNIVERSITY f WEIHAI毕业设计（论文）设计（论文）题目 像素级图像融合方法姓名：李桂楠学号：201100800668学院：机电与信息工程学院专业：自动化年级2011 级指导教师：孙甲冰摘 要 4Abstract 5第一章绪论 11.1课题背景及来源 11.2图像融合的理论基础和研究现状 11.3图像融合的应用 11.4图像融合的分类 1第二章 像素级图像融合的预处理 32.1图像增强 32.2图像校正 62.3图像配准 6第三章 像素级图像融合的方法综述 83.1加权平均图像融合方法 83.2 HIS空间图像融合方法 83.3主成分分析图像融合方法 8

2、3.4伪彩色图像融合方法 9第四章 基于小波变换的像素级图像融合概述 104.1小波变换的基本理论 104.2基于小波变换的图像融合 114.3基于小波变换的图像融合性能分析 12第五章像素级图像融合方法的研究总结与展望 19参考文献 20谢辞 错误！未定义书签。摘要近些年，随着科学技术的飞速发展，各种各样的图像传感器出现在人们的视野前，这种样式繁多的图像传感器在不同的成像原理和 不同的工作环境下具有不同功能。 而因为多传感器的不断涌现，图像 融合技术也越来越多的被应用于医学、勘探、海洋资源开发、生物学 科等领域。图像融合主要有像素级、决策级和特征级三个层次，而像素级图 像融合作为基础能为其他

3、层次的融合提供更准确、全面、可依赖的图 像信息。本文的主要工作是针对像素级的图像融合所展开的。关键词图像融合理论基础、加权平均、图像融合方法、小波变换、AbstractIn recent years, with the rapid development of scienee and tech no logy, all kinds of image sen sor appear in front of the peoples field of visi on, image sen sor in a wide range of this style in differe nt imaging p

4、rinciple and under different working conditions have different function. And because of multiple sensors, image fusion tech no logy is also more and more bee n used in medical, exploratio n, Marine resources developme nt, biological scie nces, and other fields, and image fusion for national security

5、 more strategic significance to construction and economic development. Therefore, the study of image fusion is and its important theoretical significance and applicati on prospects.Image fusion is divided into pixel level, feature level and decisi on level three differe nt levels, image fusi on at p

6、ixel level and as a basis for other levels of fusion provide more accurate, comprehensive, image information can be lazy, is advantageous to the image analysis and further research. The research work of this article is the surro unding image fusi on at pixel level.Key wordsimage fusion, weighted ave

7、rage, pseudo color image fusion method and wavelet tran sform第一章绪论1.1课题背景及来源在现代化的农业、生活、资源管理开发、国防等方面的实际应用中，图像融 合被广泛的开发应用，是较为常用的图像信息融合技术，它可以对源图像中的像 素进行逐个的信息融合，尽可能保留源图像中的重要信息以得到对图像更精确、 更丰富的描述。为了特征级和决策级的研究提供帮助。本章主要工作是对图像融合的理论和发展做出介绍，并在该基础上分析图像 融合在实际应用前景。1.2图像融合的理论和现状图像融合是对不同传感器所收集到的一幅或者多幅源图像进行融合， 用融合技术合

8、成同一幅包含了多幅源图像优点、内容更加全面丰富的图像，其最早产生 于20世纪70年代末，而该技术随着实际应用中的所占比例的增大在其后的时间 内有了很大的发展。虽然图像融合技术越来越多地在实际生活中得到应用，但因为该技术所覆盖 领域的广泛性和该技术的多样性，研究结果只是反映了特定的方面，而不是形成 完整的体系。总而言之，其中仍有很多问题有待我们的解决和探讨。1.3图像融合的应用多传感器技术的提高和电子科技技术方面的提高， 图像融合技术越来越多的 被用于实际应用中。在民用方面，图像融合在应用于各个领域。遥感方面，随着遥感技术的发展， 在同一地区可使用越来越多不同的传感器， 因此能获得不同时间段的各

9、类遥感图 像信息，国土资源规划等方面都有效的利用到该技术。在医学领域，多模医学图 像融合技术已经被广泛的用于医疗诊断中， 根据不同影像设备可反应出人体体征 情况各有不同，弥补了原来医学单一成像的缺点。在军事领域，随着传感器的种类不停增多，可得到的战场信息战况越来越丰 富，而有关于战场图像信息的分析也需要越来越准确， 而多传感器图像融合技术 则成为控制战争态势的有效利器。1.4图像融合的分类（1） 按信息表征层次分类像素级图像融合：根据某个融合规则直接对源图像灰度进行融合。 像素级图 像融合是最低层次的融合，但其保留信息的能力要强于决策级和特征级。 但像素 级融合对配准精度的要求也更高。特征级图

10、像融合：在像素级的基础上提取其特征信息进行综合性分析和融合 处理。特征级融合首先从各个多传感器图像中提取原始信息特征， 去掉其中的虚无用特征。特征级图像融合能压缩信息，还能保留图像的复合特征，可以直接为 决策级融合分析提供帮助。决策级图像融合：是最高层次的融合，从源图像中获取特征信息并进行预处 理，得出各自的决策，合并成一个全局性的联合决策。 决策级图像融合有较高的 实时性和容错性，但是在处理过程中损失的图像信息量大， 预处理的要求也比较 高。（2） 按图像源分类同类传感器图像融合：对同一传感器在不同成像模式下获得图像进行融合。异类传感器图像融合：将不同类型的并且彼此相互独立传感器收集到的图像

11、 进行融合。遥感图像融合：对多遥感器所获得的图像进行融合。（3） 按融合方法分类基于空间域的图像融合：在像素级别上对图像直接进行处理。 其算法有：加 权平均法、主成分分析法、HIS空间法、伪彩色法等等。基于变换域的图像融合：首先对多幅源图像进行图像变换，之后在对其获得 的系数按准则进行融合，再对其进行逆变换得到融合结果。 常用算法有：傅里叶 变换，多尺度分解等等。第二章 像素级图像融合的预处理像素级图像融合是最底层的图像融合，它可以获得另外两个层级不能获得的 细微的源图像信息，因为要精确要像素级别，所以在图像融合前要进行预处理， 例如图像的增强、校正、配准等。2.1图像的增强图像增强是一类图像

12、预处理的技术， 其目的是为了获得效果更明显、对研究 内容更加有用的图像信息。图像增强的主要方法有：1.空间域增强2.频率域增强。（一） 空间域增强1.线性变换和非线性变换在对图像的像元进行灰度值的变换以后，我们将会得到可视度更高、分辨率 更为清晰的图像。根据变换函数分类，当变换函数为线性或者分段函数时， 称其 为线性变换。图1线性变换灰度变换的过程可以表示为：g（x,y）=Th（x,y）, 射映射为T,则输入图像中的每个像素的灰度值f （x，y）可以通过该映射，经过变换后得到输出图像的 灰度值h（x，y）。简单的线性变换公式课定义为：d - cg（x，y） = h（x,y）-m，其中，n和m分

13、别为输入图像亮度分n - m量的最大和最小值，d和c分别是输出图像亮度分量的最大和最小值。如图 1所 示，在线性变换后其灰度范围明显扩大，由m,n扩展为c，d。变换后的图像 中相邻像素灰度的差值增加，将有效改善图像视觉效果。线性变换效果图如下：非线性变换则可以理解为，变换函数是非线性的，则为非线性变换，它是有 选择的对某一灰度范围进行扩展。指数变换和对数变换都是比较常用的非线性变 换。指数变换一般公式为：Xb = beaXa c对数变换一般公式为：Xb 二 big （ axa 1） c其中，Xa和Xb分别表示变换前和变换后每个像元的灰度值。a、b、c为参数。图4非线性灰度变换2.空间增强为了达

14、到强化图像特征信息的目的， 则采用空间增强。领域处理：对于某一 图像（i ， j），对于该图像像元的集合i+m，j+n （m n为任意整数）称为该像 元的领域。由图可知g（i,j）可由f（i , j）确定，它们分别为处理前和处理后的像元值， 这种处理称为领域处理。领域运算的计算表达式为：g（i ,j ）二 N（i ,j ） n为对N（ i , j ）像兀的运算法则。卷积运算：在空间域上对图像做加权求和的过程。需选定一个模板。在运算前，需选定一个大小为 A B的运算模板（a, b）。并建立一个和模 板大小相同的活动窗口 f（a, b），再将模板与窗口的对应的灰度值做对应运算。 得 到新的窗口中心

15、灰度值。其公式为：A Bg（ m n）=送 E f （a, b） g（a, b）a b _1将模板和窗口作相同移动后再按上式计算得出新的灰度值。根据该公式进行类 推，最后获得目标图像。平滑：传感器在成像过程会存在各种客观原因造成的误差， 图像在形成过程中会出现“噪声。”平滑的目的是为提高图像质量而进行的处理。锐化：锐化可突出边缘和线状口信息。（二） 频率域增强在图像处理过程中，像元的灰度值随着位置变化的频繁程度用频率来表示， 属于空间频率。对于边缘、线条、噪声等特征，在短像元距离内灰度值变化频率 较大，而在长像元距离内灰度值逐渐变化。频率域增强的过程如下：f佻y）傅里叶变换、F （u,v）滤波

16、，H （u,v） Qu,v）傅里叶变换 qu,v）（三） 彩色增强1.伪彩色增强一副黑白的图像在经过一定规则的变换后得到彩色图像的过程为伪彩色增 强。2.假彩色增强假彩色增强与伪彩色增强不基本相似，而它与伪彩色增强不同在于它与原波 段的真实颜色不相同，它呈现出来的颜色并不是物体的真是颜色。（四）图像运算为了达到图像增强的目的，可对图像运用代数方法进行运算。1.加法运算是指两幅大小相同的图像对它们的像元的灰度值进行相加。若设加法运算后的图像为f a（ x, y ），两幅图像分别为fi（x,y）和f 2（x, y），则 加法运算公式为：f a（x,y）二 qf, y） f2（x, y）2.差值运算

17、差值运算是指两幅同样大小的图像对它们的灰度值进行相减。若差值运算后的图像为f b（x, y ）,两幅图像为f 1（x, y）和f2（x, y），则差值运算 公式为：fb(x, y) = af1(x,y) - f/x, y) b3.比值运算比值运算是针对两幅大小相同的图像，对它们对应的像兀进行除法运算。若比值运算后的图像为fx,y),两幅图像为fi(x,y)和f2(x, y)，则比值运算公式为:fc(x,心需2.2图像校正1.准备工作：对源图像包含的数据信息进行收集整理;2.输入原始数字影像；3.建立校正变换函数。(1)多项式校正法；(2)共线方程校正法。2.3图像配准(1)对图像灰度信息进行配

18、准该方法在图像灰度上对图像的相似程度进行统计，主要有互相关法、序贯相 似度检测匹配法和交互信息。对于一幅图像I和一个模板T,二维交叉相关函数定义为：xyT(x, y)l(x - u, y - u)C(u,v)二y 彳-呼yl 2(x - u, y v)厂C(x,y)为图像上进行了相似程度为(u,v)的位移。序贯相似检测法相对来说是更容易实现的方法，其准则定义为:E (u,v) = ExEyT(x,y) -T (l(x - u,y - v) | (u, v)其中，t和I分别为模板和图像窗口的均值。交互信息I由A、B的个体熵G(m)、Gn)和联合熵G(m, n)定义I (m n) = G m) +

19、 G n) G m n)式中，Gm) = Jp(m, n )I n p( m) dm; H( n) = _ j p(n)ln p( n) dn;Gm n) = jjp(m n)In p(m,n)dmdn;p(m)和 p (n)为随机变量 M和N的边缘概率密度，p(m,n)为M和N的联合概率密度分布。(2)对变换域进行图像配准相位相关是重要的配准方法之一，在对图像运用傅里叶变换时。设fi(x,y)和f2(x,y)两幅图像，(xo, y 0)是两幅图像的平移量，则:f 2(x, y)二 f i(x - Xo, y - y。)而它们之间的傅里叶变换满足下式：F2(u,v) = exp( -j 2：(

20、uxo vy。)- R(u,v)(3)基于特征的图像配准方法1.特征提取，根据图像性质提取对配准有用的特征信息。2.特征匹配，将两幅图像中提取的特征作对应。3.图像转换，利用特征信息进行转换后获得目标图像。第三章 像素级图像融合的方法综述3.1加权平均图像融合方法设有两幅图像分别为A和B,它们融合后的图像为F,贝F(x, y) A(x,y) - B(x, y) (3-1)式中，(x,y )为图像中某一像素的位置，：和是权重系数，它们满足:二- 1 o最简单的加权平融合方法就是采用平均权值(_： = 1 =0.5 )3.2 HIS空间图像融合方法在HIS中，对于HIS，它表示的是表色系统。由这三

21、个分量构成的 HIS模型可以准确表示彩色图像，I、H S分别表示亮度、色调和饱和度，且互相独立另 外一种系统是由R、G B组成的空间。以Landsat TM多光谱图像与全色Pan图像的融合为例，HIS空间图像融合 步骤一般为：1.对图像的RGB间中的R G B变换，得到I、H、S三个分量；2.再将亮度分量I按规则融合，得到新的亮度分量Inew ；3.再将Inew、H、S反变换回RGB空间，完成融合过程。3.3主成分分析图像融合方法主成分分析图像融合方法对图像作多维正交线性变换， 实现图像的相关和降维。对n个波段的多光谱图像进行 PCA变换时，对应n个波段图像同一位置处的 像素灰度构成了一个n维

22、矢量数据x =(X2, X3，Xn)，若各波段图像大小 为M N，则共有K二MN个维矢量，这些矢量数据的协方差阵可计算为：1 K 1 KCx V XkX； - mxm，其中，mx Xk。其中让Cx的特征值和特征K K 二 K K向量使10 0T 0UTCxU 二上二：2 0:,其中，i _ T 一_ -n为Cx的n个特00征值，U的列向量为对应的特征向量。而主成分分量 y可由x求得，即：y = uTx (yy,yn)T，其中，yi、y?分别是第一和第二主 成分，以此类推。3.4伪彩色图像融合方法使用伪彩色的意义在于人眼对色彩的分辨要比灰度敏感很多， 而且可分辨的 色彩种类也较灰度来说多很多。而

23、对于人眼的该特征，通过某种彩色化处理将蕴 含在各源图像中的灰度细节信息以彩色方式表征出来， 可使人眼对图像有更丰富 的感知。第四章 基于像素级小波变换的图像融合方法概述小波变换是法国工程师在1974年提出来的一门新兴理论，是一种新发展起 来的数学工具，小波变换是在傅里叶变换的基础上建立起来的。图像的小波变换 反映了在经过小波分解后各个频率段信号重新形成的图像。 利用小波分解的方向性可获得人眼辨析度更高的图像。但小波基和分解层数的选取仍是分解过程中有 待解决的问题。本章的主要工作就是通过实验的方法 ，得出最佳小波基函数和分解层数。4.1小波变换理论将一个基本的小波函数进行伸缩和平移变换可以得到对

24、应小波函数， 而小波变换是将信号投影到小波函数上，在将其分解后可得到一系列叠加在一起的小波 函数设G为理想状态下的低通滤波器，H为理想状态下的高通滤波器，用它们对 源信号多分辨率分解，则两个支路输出必为正交，且带宽减半而不会引起信息丢 失。因此，可在一级滤波后加入降二采样之后用 G和H对低频分量进行滤波，然 后再降二采样，重复该过程就是对源信号进行了多分辨率分解，如下图 2所示：图2多分辨分析的滤波器组成分解过程图像的小波变换：这里运用到了 Mallat快速算法对而为图像进行小波分解。按照二维Mallat 算法在尺度j 一 1上有如下的分解公式：(4-3)CA = HmHnCAj JcHj =

25、 GmHnCAj 二cVj 二 HmGncAj _icDj = GmGn cAj _i相应的重构公式如下:cAj = HnHCA HnGmsHj GE上Vj _1 GGCDj (4-4)图像经过小波分解后可获得低频近似分量、水平的高频近似分量、垂直的高频近似分量以及对角的高频分量,四个分量用LL、LH、HL、HH 来表示,而分解后的框架如下图所示，LL2LH2LH1HL2HH2HLHH1 1图二维数据分解的塔形框架我们也称之为塔形框架。4.2基于小波变换的图像融合频率域对于图像融合来说比空间域更为有效。将图像进行 N层的小波分解,可获得一个高频带和一个包含近似分量的低频带。小波分解也被称为小波

26、金字塔 分解，因为随着层数的增多而数据尺寸在变小，最后形成塔状结构。（1）图像的小波分解小波分解是对函数v （t）在伸缩和平移后形成的空间，对其投影后构成了对 信号的多尺度分析。定义下面的符号：W为化，kj, k Z所张成的闭包，即W = SpaL%)C j,k 门，k Z)j -1V = 二W 二二 W=、-wl2（r）是由子空间Vj构成的多分辨率空间，V则有如下性质1.单调性： 二 V二V。二 V,二 （4-6）2伸缩性：f（t 厂 Vj = f（2t 厂 1 （4-7）3. 平移不变性：-f （t ） Vj 二 f （t - k） Vj , j , k Z （4-8）4.直和分解：Vj

27、,二 Vj 二 W （ 4-9）5.Riesz 基存在性：存在（t厂 Vo,使得 （t - k）k Z 是V。 的Riesz基。（2）基于小波变换的融合方法小波变换的步骤为下：1对将图像作多尺度分解；2各个分解层通过图像特征信息获得图像的小波系数；3变换，得到融合图像。基于小波变换的图像融合过程如下图所示：图像1多尺度分解图像n多尺度分解图3基于小波变换的融合过程4.3基于小波变换的图像融合性能分析（1）对一个小波基按不同层数融合。将两幅对多聚焦图像，使用同一小波基函数按照不同分解层数采用 Matlab7.0编程进行仿真实验,实验结果如图4所示。Ca) I层分解 (b 2层分解 5)3层分解

28、(d) 4层分解te) 5层分承 (f) 6层份解 (g) 7层分解图4多聚焦图像不同分解层 数融合结果图像的熵、均值、标准差和空间分辨率的计算结果如表 1所示:表1多聚焦图像不同分解层数融合实验数据分解层教信息爛均值标准爭空间分辨率1层7,2950597.033649,44638486672层73197997.01649.800110.20563层7.3609797.024350.5203113174层7.3776697,0532512)4811.52065层7.384397,261251.522611.59166层7.3714897,842851.7571L61R57层7338919843

29、4752.001411.6331将前视红外图像与微光夜视图像，使用同一小波基函数按照不同分解层数采 用Matlab7.0编程进行仿真实验,实验结果如图5所示。(a) 1展分解 (b) 2层分敝 (0)3层分解 (d) 4宦分解(e) 5层分解 (0 6层分解 (g) 7层分報图5前视红外图像与微光夜视图像不同分解层数融合结果图像的熵、均值、标准差和空间分辨率的计算结果结果如表 2所示:表2前视红外图像与微光夜视图像不同分解层数融合实验结果分解层数信息摘均值标准差空间务辨率1层7.480478438834779179.280032层7.49874S4.401648.687510J2083层7,5

30、216S4.427150J18710.75674层7,5489584395352,725111.14875层7.5480984.053656,600311.40026 E7.5023282.6319613904IL51247层7.4609681.077964.20121 J.544将两幅遥感图像,使用同一小波基函数按照不同分解层数采用 Matlab7.0编程进行仿真实验，实验结果如图6所示。(a) I层分解 (b) 2层分解 (c) 3层分解 (d) 4层分解(e) 5层分解 f) 6层分解 (呂)7屋分解图6遥感图像不同分解层数融合结果图像的熵、均值、标准差和空间分辨率的计算结果结果如表 3所示:分解层数信息箱均值标准差空间分辨率1层7.5502295,359148.730931.58922层7.5524595.360149255132