红外和可见光图像融合算法研究.docx

红外和可见光图像融合算法研究.docx

《红外和可见光图像融合算法研究.docx》由会员分享，可在线阅读，更多相关《红外和可见光图像融合算法研究.docx（48页珍藏版）》请在冰豆网上搜索。

红外和可见光图像融合算法研究

NORTHWESTERNPOLYTECHNICALUNIVERSITYMINGDECOLLEGE

本科毕业设计论文

题目红外和可见光图像融合算法研究

专业名称

学生姓名

指导教师

毕业时间

毕业论计任务书

一、题目

红外和可见光图像融合算法研究

、指导思想和目的要求

本题目来源于科研，主要研究红外和可见光图像的特点，学习适合于红外和可见光图像融合的算法，进而编程实现相关算法。

希望通过该毕业设计，学生能达到：

1•利用已有的专业知识，培养学生解决实际工程问题的能力；

2•锻炼学生的科研工作能力和培养学生团队合作及攻关能力。

三、主要技术指标

1•学习红外和可见光图像的特点；

2•研究红外和可见光图像的像素级融合算法；

3•编程实现红外和可见光图像的融合。

四、进度和要求

第01周----第02周：

参考翻译英文文献；

第03周一第04周：

学习红外和可见光图像的特点；

第05周----第08周：

研究红外和可见光图像融合的算法；

第09周----第14周：

编写红外和可见光图像融合程序；

第15周----第16周：

撰写毕业设计论文，论文答辩。

五、主要参考书及参考资料

1.敬忠良•图像融合一一理论与应用•高等教育出版社•

2.郭雷.图像融合.电子工业出版社.

3.匡艳.可见光与红外图像融合技术研究.电子科技大学硕士学位论文.

4.童明强.红外图像与可见光图像融合的研究.天津理工大学硕士学位论文

学生指导教师系主任

红外技术作为人类认识自然、探索自然的一种新的现代工具，已经被各国普遍的应用于生物、医学、地学等科学领域以及军事侦察方面。

红外图像直接反映了物体表面温度分布情况，但由于目标的红外辐射十分复杂，而且影响目标红外辐射的因素很多，红外热图像的清晰度远不如可视图像。

可见光图像能够很好的描绘场景中各个物体的外形结构，具有较好的轮廓表现力，所以将红外和可见光图像融为一体有非常好的效果。

而通过图像融合是实现这一效果的有效方法，融合后的图像可信度更高，模糊较少，可理解性更好，更适合人的视觉及对源图像的进一步分析、理解以及目标检测、识别或跟踪。

图像融合充分利用了多个被融合图像中包含的冗余信息和互补信息，同时又不同于一般意义上的图像增强，它是计算机视觉、图像理解领域的一项新技术。

本文针对红外和可见光图像融合算法进行了研究。

通过使用计算机图像处理方法，对同一场景的红外图像和可见光图像进行融合处理，得到一副单一的融合

图像，它成功包含了两副源图像的信息。

本文主要研究了利用MATLAB软件实

现对红外和可见光图像的处理和融合，采用对应像素取大值、取小值、平均值，区域能量、区域对比度比较的融合方法，并且对融合结果图像使用信息熵、标准差、平均梯度、空间频率的评价指标进行了分析比较。

结果表明，融合结果图像既保留了可见光图像的清晰的轮廓信息，同时也显示了目标物体的表面温度分布情况。

关键字：

图像融合，红外图像，可见光图像，MATLAB软件

ABSTRACT

Infraredtechnology,anewmoderntooltobeusedforhumanbeingstoresearchandexplorenature,hasbeenwidelyappliedtomanyfieldswhichincludebiology,medicine,geoscieneeandmilitaryreconnaissaneeindifferentcountries」nfraredimagereflectsthetemperaturedistributionofobjectsinthescene.However,thetargetinfraredradiationisverycomplex,andtherearemanyfactorswhichaffectthetargetinfraredradiation,thusInfraredthermalimageclarityismuchlessthanthevisualimage.Avisualimagecandescribestheshapeofalltheobjectsinthesceneandhasgoodabilitytorepresentobjects'outline.Therefor,theintegrationofInfraredimageandvisualimagehaveverygoodresults.Inaddition,tofusethemintoasingleimageisveryusefultoachievethisgoal.Fusedimagesaremorereliable,lessvagueandmoreunderstandable,whichshouldbeconvenientforthefollowingimageanalysis,recognizing,targetdetectingandtracing.lttakesfulladvantageofredundantorcomplementaryinformationfromsourcepictures,andnotbeidenticaltocommonimageenhancement.Itisanewtechnologyintheareaofcomputervisionandimagecomprehension.

ThisthesisisaimedatstudyingafusedmethodaboutInfraredimageandvisualimage.Throughcomputerimageprocessingmethods,fusingthevisualimageandinfraredimageaboutasamesceneintoasingleimagetodisplaybothimageslinformation.ThispaperisfocusingonusingMATLABsoftwaretoachievetheintegrationofInfraredimageandvisualimage.Moreover,usingmaximalorminimalpixelselection,pixelaverage,Regionalenergy,RegionalContrast,Thefusionimageusinginformationentropy,standarddeviation,averagegradient,spatialfrequencyevaluationindexanalysis.Theresultsshowthatitnotonlyremainstheshapeinformationofthevisualimage,butalsodisplaysthetemperaturedistributionof

objectsfromtheinfraredimage.

KEYWORDS:

imagefusion,infraredimage,visualimage,MATLABsoftware

第一章绪论1..

1.1课题的选题背景及意义1

1.2图像融合技术的研究状况3

1.3图像融合的概念5.

1.3.1图像融合系统的层次划分6

1.3.2像素级融合方法综述1.0

1.4本文的组织结构11

第二章图像的预处理和分类13

2.1图像的数字化13

2.2图像的分类1.6

2.3红外图像的成像机理和特点1.7

第三章红外和可见光图像融合的方法21

3.1图像融合规则21

3.2图像融合方法22

3.2.1像素灰度值选大图像融合方法22

3.2.2像素灰度值选小图像融合方法23

3.2.3对应像素取平均值融合方法23

3.2.4对应像素取加权平均值融合方法24

3.2.5基于区域能量比较的融合方法24

3.2.6基于区域对比度比较的融合方法25

第四章图像融合方法的性能评价27

4.1融合图像质量的主观评价27

4.2融合图像质量的客观评价28

第五章仿真实验结果及分析33

第六章总结与展望45

6.1总结45

6.2展望46

参考文献47

致谢49

毕业设计小结50

附录51

第一章绪论

1.1课题的选题背景及意义

二十一世纪是一个快速发展的科技信息时代，科学技术的发展日新月异，单一的可见光模式逐渐发展成多种传感器模式，传感器的应用已经渗入到许多领域，尤其以成像传感器最为人们所熟悉，人们对图像质量也提出了更高的要求。

在日常生活中，普遍采用硬件更新换代来实现品质的提高，但是，在实际的工程应用中，只是硬件的更换往往还不足以实现工程需求。

各种传感器具有不同的成像机理、不同的波长范围、不同的工作环境与要求，完成不同的功能。

由于单一的传感器获取的信息量有限，往往难以满足实际需求。

利用多源数据可以提供对观测目标更加可靠的观察，因此，为了充分利用越来越复杂的多源数据，各种数据融合技术快速发展起来，目的是将多传感器获得的更多信息合并到一个新的数据集中。

所以，可通过对得到的图像进行加工和处理来达到预定目标，这个过程

即是图像处理技术。

计算机软件技术和数学算法正是这项技术的基础，也是其重点。

图像处理技术是一门内容十分丰富的学科，在其发展过程中，已经被分成了多个学科分支，收到诸多学者和研究人员的青睐和重视。

图像传感器种类繁多，表1-1列出了常用图像传感器及其性能特点。

表1-1常用图像传感器及其性能特点

传感器类型

主要特点

可见光

可获得丰富的对比度、颜色和形状信息

微光夜视仪

夜视，探测距离一般在800-1000米

红外热像仪

昼夜两用，探测距离一般在几千米到十几千米；波段为

3-5um（中红外波段），8-12um（长红外波段）

激光成像雷达

兼有测距、测速和成像三种功能，成像距离3-5千米，探测分

辨能力强，能够探测出架空电缆之类细小物体

传感器类型

主要特点

毫米波雷达

天候特性优于可见光及红外，抗干扰能力强，分辨率较咼

SAR

天线尺寸小，成像分辨率咼，全天时，全天候，对土壤和水有

一定的穿透力

多光谱/超光谱成像仪

多个光谱谱段冋时、精确测量目标；可用于地形测绘、监听和

分析等

多模态医学成像仪

计算机断层扫描（CT）可提供骨组织信息，核磁共振（MR）可提供软组织及脉管信息

红外技术［1-2］是20世纪发展起来的新兴应用技术。

近50年来，世界各国争相发展利用红外线探测目标的技术，并将之应用于军事领域。

近年来一些国家将其大规模推向民用领域。

在军事上⑻，红外探测用于制导、火控跟踪、警戒、目标侦察、武器热瞄准器、舰船导航、空降导航等。

在准军事领域，可广泛应用于安全警戒、刑侦、森林防火和消防、大气环境检测等方面。

在民用领域，广泛应用于工业设备监控、安全监视、交通管理、救灾、遥感以及医学热诊断技术等。

在日常生活中，我们所见到的图像绝大部分都是可见光图像（如电视机图像、数码照相机成像等）,可见光图像比较客观和真实地展现了目标（物或者景）的空间轮廓信息，可以较好的从背景环境中分离开来，有较高的对比度，这一点在图像视觉信息中显得非常重要，也是可见光图像的优势之所在。

可见光图像和红外图像都具有其固有的优势和缺陷，它们之间存在着显著的差异，而这些差异正好弥补了彼此的缺陷。

可见光图像携带的准确丰富的物体空间形态信息，与人眼对目标场景的直接成像状态一致；红外图像是凭借红外探测器而获得的图像信息，而这些信息都是人眼无法直接获取的，但却表征了目标物体的表面温度分布情况，将原本不可见的特征转换为图像形式，成为人眼可以接受的视觉信息。

然而，由于红外图像不能如实呈现目标的空间轮廓信息，这给观

察者（或者机器视觉系统）带来一些困扰，观察者只能看到目标场景中的温度分布情况，却因为目标与环境对比不明显而无法准确无误的分辨目标物体本身。

可见，

可见光图像对目标的空间轮廓的完美显示正好弥补了红外图像的这一缺点，若将

两者的互补信息融合在一起，那就可以同时获得目标的空间边缘信息以及表面温

度分布信息。

通过对可见光图像和红外图像采用图像融合处理，将两者的互补信息整合，其输出的融合图像集两者优势为一体，既展示了目标物体的空间细节情况，又将其表面温度分布细节转换为可视信息，这对观察者而言，图像更加全面的展示了目标物体所承载的信息量，使得目标物体的空间结构和局部温度分布都一目了然。

1.2图像融合技术的研究状况

图像融合［4-6］技术是在兴起于70年代末的信息融合技术的基础上发展起来的图像处理新技术。

1979年，Daliy⑺等人首先把雷达图像和Landsat-MSS图像的复合图像应用于地质解释，其处理过程可以看作是最简单的图像融合。

1981年，

Lane和Todd⑹进行了Landsat-RBV和MSS图像数据的融合试验。

到80年代中后期，图像融合技术开始引起人们的关注，陆续有人将图像融合技术应用于遥感多谱图像的分析和处理，如1985年，Cliche和Bonn［9］将Landsat-TM的多光谱遥感图像与SPOT卫星得到的高分辨率图像进行融合，90年代以后，随着多颗遥感雷达卫星［30］JERS-1，ERS-1，Radarsat等的发射升空，图像融合技术成为遥感图像处理和分析中的研究热点之一。

对遥感图像进行融合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特性、弥补某种图像中丢失的数据、检测/观测大地环境的变化等等。

其采取的融合方法主要有IHS变换、平均、加权平均、差分及比率、PCA（主分量分析:

PrincipalComponentAnalysis），高通滤波［29］等。

这些方法在进行融合处理时都不对参加融合的图像进行分解变换，融合处理只是在一个层次上进行的，因此均属于早期的图像融合方法。

自从2000年美国波音公司完成多源信息融合的实验成功实现互补信息的整合，从此，信息

融合技术开始得到发展，图像融合技术作为信息融合的一个重要分支，也相继在

遥感、医学治疗等领域得到重视和应用。

国内对图像融合技术研究虽然起步较晚，但已有不少研究机构和大学正在从事这一领域的研究和探讨，例如中科院遥感所、武汉测绘大学、中科院上海技术物理研究所、上海交通大学等单位。

1990年10月4日，由我国和巴西联合研制的“资源一号”卫星发射升空，卫星上安装了我国自行研制的CCD相机和红外

多光谱扫描仪，这两种航天遥感器之间可进行图像融合，大大扩展了卫星的遥感应用范围。

图1-2为战场图像的融合。

图1-1战场图像的融合

在多传感器信息融合领域中，图像融合是应用最为广泛，发表文献最多的一

个方向：

信息融合文章中，信号层的信息融合文章占53%;在中国知网和EI

EngineeringVillage（美国工程索引）数据库中对图像融合的研究趋势和发表文献分别作了统计调查。

在中国知网［11］的“学术趋势搜索"中用“图像融合”作为关键词，检索到如图1-2所示的1996年到2008年期间的关注趋势。

在ElEngineeringVillage数据库中，以imagefusion作为关键词搜索到1981年到2010年EI收录的论文如图1-3所示。

1981年到1985年，这方面的文献只有134篇，1996年到2000年增加到1941篇，2001到2005年增加到4209篇，2006年到2010年就有8993篇。

从中可以看出，国际学术界对图像融合技术的重视程度与日俱增。

文献数量统计

年

图1-22000年到2013年间图像融合的学术发展趋势

优秀本科毕业设计（论文）

图1-3图像融合的发展变化趋势

1.3图像融合的概念

图像融合（ImageFusion）是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。

图像融合示意图如图1-4。

待融合图像已配准好且像素位宽一致，综合和提取两个或多个多源图像信

冗余信息

图1-4图像融合示意图

优秀本科毕业设计（论文）

息。

两幅（多幅）已配准好且像素位宽一致的待融合源图像，如果配准不好且像素位宽不一致，其融合效果不好。

图像融合的主要目的是通过对多幅图像间的冗余数据的处理来提高图像的可靠性，通过对多幅图像间互补信息的处理来提高图像的清晰度。

图像融合的主要目的包括：

（1）增加图像中有用信息的含量，改善图像的清晰度，增强在单一传感器图像中无法看见或看清的某些特性；

⑵改善图像的空间分辨率，增加光谱信息的含量，为改善检测、分类、理解、识别性能获取补充的图像信息；

（3）通过不同时刻的图像序列融合来检测场景或目标的变化情况；

（4）通过融合多个二维图像产生具有立体视觉的三维图像，可用于三维重建或立体投影、测量等；

（5）利用来自其他传感器的图像来替代或弥补某一传感器图像中的丢失或故障信息。

1.3.1图像融合系统的层次划分

图像融合是采用某种算法对两幅或多幅不同的图像进行综合与处理，最终形

成一幅新的图像。

图像融合系统的算法按层次结构划分可分为信号级、像素级、特征级和决策级［12］。

信号级融合：

是指合成一组传感器信号，目的是提供与原始信号形式相同但品质更高的信号。

像素级图像融合：

结构如图1-5所示，是指直接对图像中像素点进行信息综合处理的过程像素级图像融合的日的是生成一幅包含更多信息、更清晰的图像像素级图像融合属于较低层次的融合，目前，大部分研究集中在该层次上。

像素层图像融合一般要求原始图像在空间上精确配准，如果图像具有小同分辨率，在融合前需作映射处理。

特征级图像融合：

结构如图1-6所示，是指从各个传感器图像中提取特征信息，并将其进行综合分析和处理的过程。

提取的特征信息应是像素信息的充分表示量或充分统计量，典型的特征信息有边缘、形状、轮廓、角、纹理、相似

亮度

图像1

图1-5像素级图像融合

区域、相似景深区域等在进行融合处理时，所关心的主要特征信息的具体形式和内容与多传感器图像融合的应用目的/场合密切相关。

通过特征级图像融合可以在原始图像中挖掘相关特征信息、增加特征信息的可信度、排除虚假特征、建立新的复合特征等。

特征级图像融合是中间层次上的融合，为决策级融合做准备。

特征级融合对传感器对准要求不如信号级和像素级要求严格，因此图像传感器可分布于不同平台上。

特征级融合的优点在于可观的信息压缩，便于实时处理。

由于特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。

图像n

1-6特征级图像融合

决策级图像融合：

结构如图1-7所示，是指对每个图像的特征信息进行分类、识别等处理，形成相应的结果后，进行进一步的融合过程最终的决策结果是全局最优决策。

决策级融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。

为此，决策级融合必须结合具体的应用及需求特点，有选择地利用特征级融合所抽取或测量的有关目标的各类特征信息，才能实现决策级融合的目的，其结果将直接影响最后的决策水平。

由于输入为各种特征信息，而结果为决策描述，因此决策级融合数据量最小，抗干扰能力强。

决策级融合的主要优点可概括为：

①通信及传输要求低，这是由其数据量少决定的；②容错性高对于一个或若十个传感器的数据干扰，可以通过适当的融合力一法予以消除；③数据要求低，传感器可以是同质或异质，对传感器的依赖性和要求降低；④分析能力强，能全力一位有效反映目标及环境的信息，满足小同应用的需要。

图1-7决策级图像融合

表1-2给出了不同多传感器图像融合层次及其性能特点的比较情况，表1-3给出了不同层次图像融合算法的特点。

从表中及前面所介绍的内容可以看出，像素级图像融合是最重要、最根本的多传感器图像融合方法，其获取的信息量最多、

检测性能最好、难度也最大，也是本文主要讨论的内容

表1-2图像融合层次及其性能特点的比较

特

占

八、、

征

融合层次

像素级融合

特征级融合

决策级融合

信息量

最大

中等

最小

信息损失

最小

中等

最大

容错性

最差

中等

最好

让干扰性

最差

中等

最好

对传感器的依赖性

最大

中等

最小

融合方法难易

最难

中等

最易

分类性能

最好

中等

最差

系统开放性

最差

中等

最好

预处理

最小

中等

最大

表1-3不同层次图像融合算法的特点

特点

信号层图像

融合

像素层图像融合

特征层图像融合

决策层图像融

合

传感器信息类型

信号或者多

维信号

多幅图像

从信号和图像中提取

出的特征

用于决策的符

号和系统模型

信息的表示级别

最低级

介于最低级和中

级之间

中级

高级

含有不相关

含有多位属性的

可变的几何图形、方

测量值含有不

传感器信息模型

随机噪声的

图像或者像素上

向、位置以及特征的

确定因素的符

随机变量

的随机过程

时域范围

号

图像数据的空间

高

高

中等

低

对准精度级别

图像数据的时域

对准精度级别

高

中等

中等

低

特点

信号层图像

融合

像素层图像融合

特征层图像融合

决策层图像融

合

数据融合方法

信号估计

图像估计或像素

属性组合

几何上和时域上相互

对应，特征属性组合

逻辑推理和统

计推理

数据融合带来的

性能改善

方差期望值

缩小

使图像处理任务

的效果更好

压缩处理量、增强特

征测量值精度，增加

附加特征

提高处理的可

靠度或提高结

果正确概率

1.3.2像素级融合方法综述

本文主要对像素级图像融合方法［13-14］进行了研究。

像素级融合是直接在图像原始数据层上进行的融合，这是最低层次的融合。

像素级融合是对多源图像的关于同一场景、目标的同一像素级灰度进行的综合处理，生成的新图像能够包含源图像中所有像素点的信息。

实施像素级融合之前，必须对参加融合的图像进行预处理和图像配准，目的是为了提高融合的可靠性和精度。

每个传感器提高的图像来自不同的时间和空间，或者是在同一时间和空间下具有不同光谱特性的图像。

他们提供的信息是多方面的，通过基因像素及融合，增加了图像中的信息，在提供细节信息方面由于特征级和决