多源遥感图像融合方法研究.docx

1、多源遥感图像融合方法研究西南科技大学专业方向设计报告课程名称: 电子专业方向设计 设计名称: 多源遥感图像融合方法研究 姓 名: 学 号: 班 级: 指导教师: 朱 正 为 起止日期: 2011.12.12-2012.01.08 西南科技大学信息工程学院制方 向 设 计 任 务 书学生班级： 学生姓名： 学号： 设计名称： 多源遥感图像融合方法研究 起止日期： 2011.12.12-2012.01.08 指导教师： 朱正为 设计要求：随着遥感技术的发展，由各种卫星传感器对地观测获得的同一地区多源遥感影像数据越来越多，为自然资源调查、环境监测等提供了丰富的资料。图像融合是一种综合多个源图像信息的

2、图像处理技术，其目的是将多个源影像数据中所含的优势信息和互补信息有机地结合起来产生新的影像数据，以最大限度的利用各种信息源提供的信息，增强图像理解的可靠性。因此，研究图像融合技术具有重要的应用价值。设计要求在分析研究遥感图像融合一般方法的基础上，设计有效的融合算法，实现对多源遥感图像的融合。具体设计要求如下：（1）查阅有关资料，了解多传感器图像融合的基本概念、研究目的和意义；（2）了解遥感图像融合的一般方法、步骤以及融合效果评价方法；（3）研究和设计加权、IHS、HPF、PCA变换、金字塔和小波变换等图像融合方法（任选两种）； （4）利用设计的图像融合方法，对多波段图像进行融合实验，给出图像融

3、合实验结果，并对图像融合效果进行分析、比较和评价；（5）撰写设计报告（按照规定的报告模板书写）。方 向 设 计 学 生 日 志时间设计内容2011.12.15分配设计任务2011.12.16-2011.12.21分析课题，查找、学习与课题有关的资料2011.12.21-2011.12.25研究设计原理和设计方案2011.12.26-2011.12.31设计和改进算法，在matlab上验证2012.1.1-2012.1.4撰写设计报告2012.1.5答辩多源遥感图像融合方法研究 一、 摘要 近年来，多传感器图像融合技术在医学、遥感、气象预报、自动目标检测等领域都得到了广泛应用。特别是随着现代卫星

4、遥感技术的发展，由各种卫星传感器对地观测获取的多传感器、多时相、多分辨率、多频段的遥感图像数据越来越多，为自然资源调查、环境监测、国土整治和灾害防治等提供了丰富而又宝贵的资料。遥感图像处理是指通过遥感技术获取图像并进行处理和应用的过程。随着遥感技术的发展，由各种卫星传感器对地观测获得的同一地区多源遥感影像数据越来越多，为自然资源调查、环境监测等提供了丰富的资料。从中获取的资料的数据量以及数据的种类的繁多和数据的多元化，这样促使我们找到一种方法来使数据的多元化尽可能减少，而图像融合是一种综合多个源图像信息的图像处理技术，其目的是将多个源影像数据中所含的优势信息和互补信息有机地结合起来产生新的影像

5、数据，以最大限度的利用各种信息源提供的信息，增强图像理解的可靠性。图像融合主要有加权平均、IHS、HPF、PCA变换、金字塔和小波变换等融合方法，本文主要对加权平均法和IHS进行了详细的介绍，对其中的原理以及用于实现的方法进行了和最后进行处理后的图像的效果进行了详细的阐述，选用低空间分辨率的多光谱遥感图像（TM）和高空间分辨率的全色影像遥感图像（SPOT）进行实验融合。关键字：遥感图像融合；加权平均法；IHS；融合效果评价二、 设计目的和意义图像融合是一种先进的综合多个源图像信息的图像处理技术，其目的是集成多个源图像中的冗余信息和互补信息，以强化图像中的信息、增强图像理解的可靠性。通过多传感器

6、融合将会获得更精确的结果，也将会使系统更实用。简单地说，图像融合首先将不同类型传感器获取的同一地区的影像数据进行空间配准，然后采用一定的算法将配准后的各影像数据中所含的优势信息和互补信息有机地结合起来产生新的影像数据，并对新数据进行解释。这种新数据具有描述所研究对象的较优化的信息表征，同单一信息源相比，能减少或抑制被感知对象或环境解释中可能存在的多义性、不完全性、不确定性和误差，最大限度的利用各种信息源提供的信息。三、 设计原理3.1 加权平均融合法 以两幅源图像的融合为例来说明该算法的融合过程，对于三个以上的图像融合可以类推。假设参加融合的两个源图像分别为A，B，图像大小为mxn，经融合后得

7、到的融合图像为F，那么两个图像的像素灰度值加权平均融合过程表示为： (3.1-1) 其中m，n分别为图像的行号和列号 加权系数 ， (3.1-2) 本方法通过融合各图像的冗余信息，可以提高可靠性，多幅图像融合时能提高图像的信噪比。加权平均法的优点是简单直观，能实时处理，但是当图像灰度差异大时，会出现拼接痕迹，对人眼识别不利。加权融合方法融合效果与权系数的选取有关。采用该方法融合的影像包含高分辨率影像的微小细节，因而空间分辨率有所提高。可用于TM和SPOT全色影像的融合，但融合影像与源多光谱影像的光谱特征有较大差异。3.2 IHS变换融合在计算机内定量处理色彩时通常采用RGB表色系统，但在视觉上

8、定性的描述色彩时，采用IHS显色系统更为直观。它用色调(Hue)、饱和度 (Saturation)以及亮度 (Iniensity)表示颜色。IHS空间又称为芒色尔(MUNsELL)空间，为了实现两套色彩表示系统之间的转换，必须建立RGB和IHS空间之间的关系模型。在RGB和IHS空间相互转化的处理过程称为IHS变换，利用该变换可以实现多源遥感图像之间的信息融合。IHS模型用I、H、S三个参数描述颜色特性，其中I与彩色信息无关，称为亮度或强度；H表示颜色的波长，称为色调；S表示颜色的深浅，称为饱和度。IHS颜色模型反映了人的视觉对色彩的感觉。3.2.1 RGB与IHS变换关系为了图像处理的目的，

9、有时需要在RGB和IHS这两种彩色坐标间进行变换，因为有些处理在某个彩色系统中可能更方便些。由于IHS空间中，光谱信息主要。体现在色调和饱和度上，强度的改变对光谱信息影响较小，对于高空间分辨率图像和多光谱图像的融合，我们希望在保留光谱信息的前提下，提高多光谱图像的细节表现力，因此更适于在IHS空间中处理。通常将RGB到IHS的变换称为IHS正变换，而将IHS变换为RGB称为反变换。要理解图像融合过程中出现的颜色失真，有必要介绍两个必不可少而且很重要的变换公式。1、 线性正变换正变换公式： (3.2-1)逆变换公式： (3.2-2)其中变量vl和v2是笛卡尔坐标系中的x轴和y轴，而亮度I是Z轴。

10、那么色调H和饱和度S可以表示为： (3.2-3) (3.2-4) 2、 非线性变换任何3个(0,1)范围内的R、G、B值，都可以用下面的正变换公式得到对应的H、I、S分量。 (3.2-5) (3.2-6) (3.2-7) (3.2-8)如果I、H、S和R、G、B的值都在0，l之间，则逆变换公式需要根据颜色点落在色环的哪个扇区来选用不同的转换公式。当时： (3.2-9)当时： (3.2-10)当时： (3.2-11)这两种变换系统的区别主要在它们的饱和度表示方法上。在线性变换系统中，与式(3.2-1)值相等的像素具有相同的饱和度，且与亮度无关，这些像素点在IHS空间中建立了一个饱和度柱。在非线性

11、变换系统中，与式（3.2-4）值相等的像素在一个饱和度锥形的表面上，且和亮度直接相关。当然，RGB与IHS之间的变换公式有很多种形式，这些变换公式的基本思想是类似的。只要一种变换方法能够保证变换以后的色调H是一个角度，饱和度S和亮度工相互独立，且变换可逆，那么这种变换就是可行的。3.2.2 IHS变换融合IHS变换首先将RGB颜色空间的三个波段的多光谱(TM)图像转化为IHS空间的三个量，然后将高空间分辨率(SPOT)图像进行对比度拉伸，使它和亮度分量I有相同的均值和方差，最后用拉伸后的高空间分辨率图像代替亮度分量工，把它同色度H和饱和度S进行IHS逆变换得到融合图像。具体算法步骤如下：1、按

12、式(3.2-12)进行计算; (3.2-12)2、用配准后的SPOT图像（）代替I分量：3、分量替换后如式(3.3-13)所示： (3.2-13)IHS变换融合法作为一种常用的方法，融合的影像不仅在空间分辨率和清晰度上比源多光谱影像都有相当大地提高，且较大程度上保留了多光谱图像的光谱特征。因而判读和量测能力都有很大提高，有利于改善判读、分类和制图精度等。对于城区资源调查和视觉分析尤其适用，但由于高空间分辨率影像与低分辨率多光谱影像获取时光照条件(气候、季节、时间等)、成像特征(光谱范围、光谱敏感性等)、地形起伏和地物变换等因素的影响，全色影像与明度影像不可能完全相关，此融合的影像光谱特性的扭曲

13、是可察觉的，且IHS融合法只能同时对3个波段的多光谱影像与高空间分辨率影像进行融合。3.3 遥感图像融合效果的评价方法图像融合的一个重要步骤是对融合的效果进行评价，当前在图像融合的领域中缺乏对融合效果系统全面的评价，还主要依靠观察者的主观感觉。理想的融合过程既有对新信息的摄入，也有对原有有用信息的保留，融合效果评价应该包括创新性和继承性。因此需要寻找一种可以客观评价图像融合效果的方法，从而为因为不同的应用选择不同的融合方法提供依据。主观评定法是由判读人员直接用肉眼对融合图像的质量进行评估，根据人的主观感觉和统计结果对图像质量的优劣来做出评判。例如，可以让观察者对不同融合方法得到的融合图像中的特

14、定目标进行识别，测量出识别时间并统计出识别的正确率等，从而判断出图像融合方法性能的优劣和融合图像质量的好坏主观评定法具有简单、直观的优点，对明显的图像信息可以进行快捷、方便的评价，在一些特定应用中是十分可行的。比如在美国国防部高级研究计划局资助的先进夜视系统开发计划中，研究者就是用主观评价方法来比较两种假彩色图像融合方法的好坏。由于这套系统是用来提高飞行员的夜视能力的，所以主观评价法不失为一种最佳的选择。主观评价法可以用于判断融合图像是否配准，如果配准的不好，那么图像就会出现重影，反过来通过图像融合也可以检查配准精度；可通过直接比较图像差异来判断光谱是否扭曲和空间信息的传递性能以及是否丢失重要

15、信息；判断融合图像纹理及色彩信息是否一致，融合图像整体色彩是否与天然色彩保持一致，如居民点图像是否明亮突出，水体图像是否呈现蓝色，植物图像是否呈现绿色；判断融合图像整体亮度、色彩反差是否合适，是否有蒙雾或马赛克等现象出现以及判断融合图像的清晰度是否降低、图像边缘是否清楚等。所以主观评价法是最简单、最常用的方法，通过它对图像上的田地边界、道路、居民地轮廓、机场跑道边缘的比较，可直观地得到图像在空间分辨力、清晰度等方面的差异。且由于人眼对色彩具有强烈的感知能力，使得对光谱特征的评价是任何其它方法所无法比拟的。这种方法的主观性比较强，人眼对融合图像的感觉很大程度上决定了遥感图像的质量。融合图像质量评

16、价离不开视觉评价，这是必不可少的。但因为人的视觉对图像上的各种变化并不都是很敏感，图像的视觉质量强烈地取决于观察者，具有主观性、不全面性。因此需要与客观的定量评价标准相结合进行综合评价。即对融合图像质量在主观的目视评价基础上，进行客观定不同图像融合以后，目视判别可以作为一种最简单、最直接的评价方法，其优点在于，可以直接根据图像融合前后的对比作出评价，缺点是主观性较强。融合图像的客观评价应符合于主观评价，也就是说，图像的统计参数特征应该符合人眼的目视感觉。遥感图像融合具有特殊性，它不仅仅要求提高融合图像的空间分辨率，还要尽可能保持原是图像的光谱特征。一般情况下，这两个要求要同时达到很好是不容易做

17、到的。因此，对于遥感图像融合效果的评价，应综合考虑空间细节信息的增强和光谱信息的保持，以期在两者之间达到一个较好的平衡。目前还没有统一的评价标准，根据不同使用目的，客观评价标准比较多，一般利用三类统计参数来进行分析和评价：第1类反应亮度信息，如均值；第2类反应空间细节信息，如方差、信息嫡和清晰度；第3类反应光谱信息，如扭曲程度、偏差指数与相关系数14。下面简要介绍一下各种参数的定义与物理含义。1、均值与标准方差 (3.3-1) (3.3-2)以上两个式子中，表示图像总的像素的个数，为第i个像素的灰度值。均值的意义是亮度的平均值，如果亮度适中(灰度值在128附近)，那么图像的视觉效果良好。方差反

18、映的是灰度值相对于均值的分散情况，方差值越大，表明图像的灰度范围越趋于分散，图像的信息量也越大。2、信息熵1984年现代信息论创始人Shannon将平均信息量定义为熵。公式为： (3.3-3) 信息熵是衡量图像信息丰富程度的一个重要指标，信息熵的大小反映了图像携带信息的多少。如果融合结果图像的熵越大，说明融合结果图像所含的信息越丰富，融合效果越好。 3、清晰度图像清晰度用梯度算法来衡量，图像的梯度由下式确定： (3.3-4) 其中，Ix与Iy分别为x与y方向上的差分，n为图像的大小，越大，表明图像的清晰度越高。4、扭曲程度图像光谱扭曲程度直接反映了多光谱图像的光谱失真程度，定义为： (3.3-

19、5) 其中，n为图像的大小，分别为融合结果图像和原始图像上(i，j)点的灰度值。5、偏差指数偏差指数用来比较融合图像和原始多光谱图像偏离的程度。 (3.3-6) 其中，I、I分别为融合前后(i，j)点的强度值，M、N分别为图像的行数和列数。6、相关系数 (3.3-7)其中，和分别为(i，j)点的灰度值，与为两幅图像的平均灰度值。相关系数可以用来度量两幅图像之间的相关程度。通过比较融合前后图像的相关系数可以看出原始图像的光谱信息和空间信息的改变程度，差异越小，则融合方法从原始图像中提取的信息越多。鉴于遥感与其他领域使用目的的不同，融合后的图像需要保留地表植物等的光谱信息，在本文的研究中，主要比较

20、融合图像与原始多光谱图像的相关系数。本设计除了对遥感图像融合效果进行简单的主观评价外，还利用计算清晰度和相关系数对图像融合效果进行客观的评价。四、 详细设计步骤4.1 图像融合一般步骤图1图像融合步骤4.2 加权平均融合法 参加融合的两个源图像分别为low，high，图像大小为MxN;在matlab中读入图像用imread()函数，将两个图像分为3个层次，再调用公式（3.1-1）融合后得到的融合图像为RGB，其中3.1-1公式中的加权系数都为0.5，所以，加权平均融合主要过程如下：RGB(:,:,1)=0.5*r+0.5*r_low;RGB(:,:,2)=0.5*g+0.5*g_low;RGB

21、(:,:,3)=0.5*b+0.5*b_low;R=RGB(:,:,1);G=RGB(:,:,2);B=RGB(:,:,3);RGB=uint8(round(RGB); 最后利用公式（3.3-4）对low、high、RGB三幅图像进行清晰度的计算。4.3 IHS变换融合本次设计采用的是线性变换，首先用matlab建立正变换AA和逆变换矩阵BB，然后调用imread()函数读入low和high两幅图像，再调用公式式(3.2-12)进行正变换，配准后的SPOT图像（）代替I分量，分量替换后如式(3.3-13)进行逆变换，就可以得到融合后的图像RGB；最后最后利用公式（3.3-4）对RGB三幅图像进

22、行清晰度的计算。五、 设计结果及分析5.1采用加权平均法融合后的效果采用加权平均融合法进行多源遥感图像的融合，其效果图如图2、图3、图4所示图2 原始TM卫星图像图3 原始SPOT图像图4 加权平均法融合图像采用加权平均融合法的性能指标如表1所示。 表1加权平均融合性能表清晰度highlowresultR14.13337.25528.7894G14.13337.16728.7546B14.13337.22898.7630比较融合前后的效果图和计算出来的清晰度可以发现，虽然融合后图像的分辨率提高了，但是光谱信息也有所损失，比较明显的是树的颜色由青色变为绿色。但明显提高的分辨率使得图像图像突出的信

23、息更多了，比如道路、田野等的轮廓更就明显了。5.2采用IHS变换融合后的效果采用IHS融合法进行多源遥感图像的融合，其效果图如图5、图6、图7所示图5 原始TM卫星图像图6 原始SPOT图像图7 IHS变换融合后图像采用IHS变换融合法的性能指标如表2所示表2 IHS变换融合法性能表清晰度highlowresultR14.13337.255214.2014G14.13337.167214.1517B14.13337.228914.1637采用IHS变换法进行图像的融合后可以很明显的感觉到图像不论是在色彩度上还是在清晰度上都有了明显的提高，尤其是清晰度，感觉可以从融合后的图像看到原始的景物是什么

24、样的。所以采用IHS变换融合法进行多源遥感图像的融合是一种比较好的方法，可以大量的采用。因此，IHS变换融合法的实用性要比加权平均融合法的实用性强。六、 总结随着遥感技术的不断发展，多传感器信息融合技术越来越受到国内外学术界的重视。应运而生的图像融合技术可以提供更清晰、更丰富、更真实的遥感图像，为进一步的分析处理做准备。以最为常见的TM与SPOT遥感图像为例，SPOT的空间分辨率比较高，其空间纹理信息优于TM图像，而TM虽然分辨率不高，却具有丰富的光谱信息。通过图像融合技术，不但可以实现两者的优势互补，还能减少设备开发成本和研究经费。本设计则是对多源遥感图像融合方法的研究，其中主要是对加权平均

25、融合法和IHS变换融合法进行了比较详细的介绍。从方法的原理到方法的具体实现，以及用此方法后得到的融合后的图像都进行了相应的阐述，并且通过比较和分析后发现，采用IHS变换融合法比采用加权平均融合法要好，可以使得融合后的图像变得更加的清晰，更加便于人们的观察以及人们利用融合后的图像的研究。七、 体会 此次设计历时四周，时间充足，在朱老师所给的资料中给予了我正确的设计思想，因此在之后的设计过程都比较平稳地进行。对于该设计，虽然存在着不足以及设计还不是很完整，但我是比较满意这样的结果。通过此次专业设计使我知道了许多的关于遥感图像的融合方法，比如加权平均融合、IHS变换融合法、HPF、PCA变换、金字塔

26、和小波变换等。其中对加权平均融合法和IHS变换融合法有了比较详细的了解，从它的原理到实现融合所用的到具体的方法，以及最后融合后的图像，最后到对两个方法的比较和分析，得到最后的结论是IHS变换法的效果要比加权平均法实用。八、 参考文献1 李德仁. 论自动化和智能化空间对地观测数据处理系统的建立J. 环境遥感，1994，19 (l) : 1-10.2 常庆瑞，蒋平安，周勇等编著. 遥感技术导论M. 北京：科学出版社，2004.3 章孝灿，黄智才，赵元洪编著. 遥感数字图像处理M. 杭州：浙江大学出版社，1997.4 柴艳妹. 多源遥感图像融合技术研究D. 西安： 西北工业大学，2004.5 马建文

27、，赵忠明，布和敖斯尔. 遥感数据模型与处理方法M. 北京：中国科学技术出版社，2001.6 程英雷，多源遥感图像融合方法研究博士学位论文，西安：西北工业大学，20067 何友，彭应宁. 多传感器数据融合模型综述J. 清华大学学报，1996, 36(9):14-208 江东，王任. 多传感器信息融合的理论与技术J. 甘肃科学学报，2001, 4(l): 41-4.9 刘贵喜多传感器图像融合方法研究，博士学位论文西安：西安电子科技大学，2001附录1、 加权平均法clearg_R=0; %r清晰度描述g_G=0; %g清晰度描述g_B=0; %b清晰度描述h_R=0; %熵的描述 h_G=0;h_

28、B=0;fenzi_R=0;fenzi_G=0;fenzi_B=0;fenmu_up_R=0;fenmu_up_G=0;fenmu_up_B=0;fenmu_low_R=0;fenmu_low_G=0;fenmu_low_B=0;tableR=;tableG=;tableB=;up=imread(high.jpg); %读图像low=imread(low.jpg);figure(1)imshow(up); %读RGB数值M,N,color=size(up);title(加权-RGB表示的高分辨率图像);figure(2)imshow(low);title(加权-RGB表示的低分辨率图像);r=

29、double(up(:,:,1);g=double(up(:,:,2);b=double(up(:,:,3);r_low=double(low(:,:,1);g_low=double(low(:,:,2);b_low=double(low(:,:,3);RGB(:,:,1)=0.5*r+0.5*r_low;RGB(:,:,2)=0.5*g+0.5*g_low;RGB(:,:,3)=0.5*b+0.5*b_low;R=RGB(:,:,1);G=RGB(:,:,2);B=RGB(:,:,3);RGB=uint8(round(RGB); figure(3)imshow(RGB)title(加权-RG

30、B转化后的图像);for ii=1:M-1 for jj=1:N-1 g_R=g_R+sqrt(r(ii+1,jj)-r(ii,jj)2+(r(ii,jj+1)-r(ii,jj)2)/2); g_G=g_G+sqrt(g(ii+1,jj)-g(ii,jj)2+(g(ii,jj+1)-g(ii,jj)2)/2); g_B=g_B+sqrt(b(ii+1,jj)-b(ii,jj)2+(b(ii,jj+1)-b(ii,jj)2)/2); endendfprintf(nn highR的清晰度为：%.4fn highG的清晰度为：%.4fn highB的清晰度为：%.4f,. g_R/(M-1)/(N-1),g_G/(M-1)/(N-1),g_B/(M-1)/(N-1); g_R=0;g_G=0;g_B=0; for ii=1:M-1 for jj=1:N-1 g_R=g_R+sqrt(r_low(ii+1,jj)-r_low(ii,jj)2+(r_low(ii,jj+1)-r_low(ii,jj)2)/2); g_G=g_G+sqrt(g_low(ii+1,jj)