多传感器图像融合算法研究.docx
《多传感器图像融合算法研究.docx》由会员分享，可在线阅读，更多相关《多传感器图像融合算法研究.docx（50页珍藏版）》请在冰豆网上搜索。
多传感器图像融合算法研究
本科毕业设计论文
题目多传感器图像融合算法研究
专业名称自动化
学生姓名
指导教师
毕业时间2015-6
设计
论文
毕业任务书
一、题目
多传感器图像融合算法研究
二、指导思想和目的要求
1、利用已有的专业知识，培养学生解决实际工程问题的能力；
2、锻炼学生的科研工作能力和培养学生的团结合作攻关能力。
三、主要技术指标
1.研究图像融合的基本原理；
2.完成多传感器的图像融合算法。
四、进度和要求
第01周----第02周：
英文翻译，及相关文献的查阅；
第03周----第04周：
撰写开题报告并学习图像和图像融合的基本理论；
第05周----第09周：
研究多传感图像融合算法；
第10周----第13周：
算法的计算机仿真；
第14周----第15周：
撰写毕业设计论文，论文答辩。
五、主要参考书及参考资料
[1]刘贵喜.多传感器图像融合方法研究.西安电子科技大学博士学位论文,2001.
[2]吴良华.多传感器图像融合算法研究.国防科技大学硕士学位论文,2009.
[3]冈萨雷斯.《数字图像处理的MATLAB实现》.清华大学出版社,2013.
[4]李晖晖.多传感器图像融合算法研究.西北工业大学博士学位论文.[D]2006.
[5]周芳丽.多传感器图像融合算法研究.湖南大学工程硕士学位论文[D]2012.
[6]殷兵云.多传感器图像融合方法研究.西安电子科技大学硕士学位[D].2009.
[7]图像融合算法研究。
黑龙江大学本科学生毕业论文[D].2014,5.
[8]冈萨雷斯.数字图像处理.第二版[M].北京：
电子工业出版社，2003.31.
[9]赵荣椿，赵忠明.数字图像处理导论[M].西北工业大学出版社，2000,8.
[10]王敏，朱冰.控制系统原理与MATLAB仿真实现[M].北京：
电子工业出版社，2014,1.
学生指导教师系主任
摘要
对多元图像信息进行的一系列提取和合成，统称为图像融合。
通过对多元图像信息的提取与合成，从而获得对同一目标的更为准确、更为全面、更为可靠的图像描述。
研究者可以得到包含多种情况下，不同条件下、不同环境下、不同模式下、不同观察角度下，对同一目标的综合特征描述的图像。
图像融合通常可分为像素级融合、特征级融合以及决策级融合三个层次。
本文研究的重点是多传感器图像融合技术。
对图像融合的像素级融合进行了研究学习。
文中研究了简单的图像融合方法、基于多尺度塔形分解的多分辨率图像融合方法。
文中通过多种基于多尺度塔形分解的图像融合方法。
基于拉普拉斯金字塔的图像融合方法、基于对比度金字塔的图像融合方法对图像进行融合处理。
对于图像融合来说,融合规则和融合算子是十分重要的。
本文根据多种融合规则,并根据与之相应的、用于不同融合方法的融合算子进行研究。
本文的另一个重点是图像融合性能的客观评价。
定量地评价图像融合性能是一项重要而复杂的工作。
文中根据几种评价方法和准则,利用这些评价准则,研究了不同融合规则对融合性能的影响。
此外,还利用这些评价准则对多种图像融合方法的性能进行了比较研究。
文中根据一系列的图像融合实验。
得到了一些实验的结果。
实验和计算结果表明,文中的融合方法和融合性能评价准则是有效的。
关键词:
图像融合,数据融合,传感器,塔形分解,评价准则
Abstract
Toaseriesofmultipleimageinformationextractionandsynthesis,collectivelyknownasimagefusion.Basedonmultipleimageinformationextractionandsynthesis,therebygainingthesametargetismoreaccurate,morecomprehensive,morereliableimagedescription.Theresearcherscangetcontainsavarietyofsituations,differentconditions,differentenvironment,differentmode,differentobservationangles,thecomprehensivedescriptionoftheimageonthesametarget.Imagefusionisusuallydividedintopixellevelfusion,featurelevelfusionanddecisionlevelfusionthreelevels.
Thispaperfocusesonthemulti-sensorimagefusiontechnology.Threelevelsofimagefusion（pixel-levelfusion,featurelevelfusionanddecision-levelfusion）werestudiedtolearn.Thispaperstudiesasimpleimagefusion,multi-resolutionimagefusionmethodbasedonmulti-scalepyramiddecomposition.Paper,throughavarietyofimagefusionmethodbasedonmulti-scalepyramiddecomposition,forexample,basedonLaplacianpyramidimagefusion,imagefusionmethodbasedoncontrastpyramidimagefusionprocess.
Forimagefusion,thefusionrulesandfusionoperatorsareveryimportant.BasedonavarietyoffusionrulesandfusiongivenCorrespondingly,fordifferentfusionoperators.
Anotherfocusofthispaperistoobjectivelyevaluateimagefusionperformance.Quantitativeevaluationofimagefusionperformanceisanimportantandcomplextask.Accordingtothetextofseveralevaluationmethodsandcriteria,usingtheseevaluationcriteria,westudiedthedecompositionlevel,theeffectsofdifferentfusionrulesandcharacteristicsoftheareasizeofthefusionperformance.Inaddition,theuseoftheseevaluationcriteriafortheperformanceofavarietyofimagefusionmethodswerecompared.Thepaperbasedonaseriesofimagefusionexperiments.Wegetsomeresultsoftheexperiment.Experimentalandcomputationalresultsshowthatthefusionmethodandfusionperformanceevaluationcriteriaarevalid.
Keywords:
imagefusion,datafusion,sensor,pyramidPosition,Evaluationcriteria
目录
摘要I
AbstractII
第一章绪论2
1.1多传感器数据融合的基本概念2
1.2图像融合技术的发展与现状.2
1.2.1国内研究现状2
1.2.2国际研究现状2
1.2.3像素级图像融合算法综述2
1.4本文的主要工作2
第二章图像传感器及多传感器图像融合2
2.1多传感器数据融合算法2
2.2多传感器像素级图像融合层2
2.3多传感器图像融合的目的2
2.4多传感器图像融合的方法2
2.5小结2
第三章多传感器图像融合的简单方法2
3.1加权平均图像融合方法2
3.2像素灰度值选大图像融合方法2
3.3像素灰度值选小图像融合方法2
3.4基于简单融合方法的图像融合实验2
3.5小结2
第四章基于塔形分解的多传感器图像融合方法2
4.1基于拉普拉斯塔形分解的多传感器图像融合方法2
4.1.1图像的拉普拉斯塔形分解2
4.1.2基于拉普拉斯塔形分解的图像融合2
4.1.3图像融合规则及融合算子2
4.1.4基于拉普拉斯塔形分解图像融合实验2
4.2基于对比度塔形分解的多传感器图像融合方法2
4.2.1图像的对比度塔形分解2
4.2.2基于对比度塔形分解的图像融合2
4.2.3基于对比度塔形分解的图像融合实验2
4.3基于像素级图像融合与基于区域融合的区别2
4.4小结2
第五章多传感器图像融合方法的性能评价2
5.1融合图像质量的主观评价2
5.2融合图像质量的客观评价2
5.3不同图像融合方法性能的评价与比较2
5.4小结2
参考文献2
致谢2
结束语2
附录2
第一章绪论
1.1多传感器数据融合的基本概念
多传感器数据融合是一种对多源信息进行综合处理的一项新技术,多传感器数据融合亦称多传感器信息融合。
所谓多传感器数据融合是指对来自多个传感器的信息进行多级别、多方面、多层次的处理与综合,从而获得更丰富、更精确、更可靠的有用信息。
Edwardwalts和Jameuinas[1]对数据融合给出了如下的定义:
数据融合是一种多层次的、多方面的处理过程,这个过程是对多源数据进行检测、结合、相关、估计和组合以达到精确的状态估计和身份估计,以及完整、及时的态势评估和威胁估计。
实际上多个传感器的信号与采用单一传感器信号相比,来自多个传感器的信号所提供的信息具有冗余性、互补性,多传感器数据融合系统可以最大限度地获取对目标或场景的信息描述。
多传感器数据融合与一般信号处理方法之间的重要差别在于:
数据融合所处理的多传感器信息形式更复杂、处理过程更复杂、面临的困难也更大。
通常,通过多传感器数据融合可以带来以下好处:
·扩大了时间和空间的覆盖范围;
·增加了测量的维数,增加了置信度;
.改善了探测性能;
·容错性好,性能稳定;
·提高了空间分辨率;
·改善了系统的可靠性和可维护性;
·降低了对单个传感器的性能要求。
根据融合处理的数据类型和应用场合,数据融合系统可以分为以下三种形式:
时间融合:
指对来自同一传感器的、对同一目标或场景在不同时间的一系列测量值进行融合处理。
空间融合:
指在同一时刻,对来自多个相同（空间位置不同）或不同传感器的测量进行融合处理。
时空融合:
指在一段时间内,对来自多个相同（空间位置不同）或不同传感器的测量进行融合处理。
图像是二维信号,图像融合是多传感器数据融合的一个重要分支,因此,多传感器图像融合与数据融合具有共同的优点.所谓图像融合是指综合两个或多个源图像的信息,图像融合的目的就是通过对多幅图像信息的提取与综合,从而获得对同一场景/目标的更为准确、更为全面、更为可靠的图像描述。
该融合图像应更符合人或机器的视觉特性,以利于对该图像的进一步分析、理解以及目标的检测、识别或跟踪。
通常在观察同一目标或场景,由多个不同特性的传感器获取的图像信息是有所差异的。
即使是采用相同的传感器,在不同观测时间或不同观测角度获得的信息也可能不同。
图像融合充分利用了多个被融合图像中包含的冗余信息和互补信息。
多传感器图像融合技术不同于一般意义上的图像增强,它是计算机视觉、图像理解领域的一项新技术。
1.2图像融合技术的发展与现状.
1.2.1国内研究现状
多传感器图像信息融合[2]技术是正在蓬勃兴起的一门学科，应用的前景十分广泛。
目前，图像融合的研究重点在于:
在尽可能的提高融合后图像的空间分辨率的同时，保持原始图像的特征，从而使其后续分析理解的有效性能够得到保证。
在融合技术中，关于像素级融合方法的文献较多，而介绍特征级和决策级融合方法的文献相对较少，这也是融合技术的又一个重要研究领域。
而在许多实际应用中，要实时的进行并完成像素级的融合处理工作是相当困难的，于是，进行决策级和特征级图像信息融合的实时处理就成了主要的选择。
目前，目标自动识别和图像理解是特征级和决策级图像信息融合技术中的难点问题。
在我国，图像融合理论近几年成为研究热点，西工大、国防科技大、北理工、西电、华科等高校在图像融合理论和应用系统的研究方面也都做了很多工作，但与国际先进水平相比，仍然有很大的差距。
1.2.2国际研究现状
近二十年，图像融合技术在航天、军事、遥感、医学等各个领域都取得了很大的应用，发挥的作用也越来越大，能夠融合的图像种类也越来越多。
美国，作为世界上的超级大国，在图像融合领域也是起步最早，发展最快的国家。
在二十世纪七十年代初期，由美国国防部出资，麻省理工大学协助开发的声纳信号处理系统中，融合技术得到了最早的应用。
后来的八十年代以来，美国军部一直对信息融合技术、图像融合技术给予高度的重视，自美国国防部在海湾战争中体会到该技术的巨大应用潜力，以后逐年加大投资力度，建立了关于数据融合的军用系统。
在国际图像融合领域上，除了美国，英、法等发达国家前期也有了较大的投入，在算法融合、实际应用融合系统上也处于领先的地位。
1.2.3像素级图像融合算法综述
像素级图像融合作为最主要的融合，其所处理的信息量最多，是后续处理的基础，因此，许多学者对像素级图像融合方法进行了分类总结。
其融合算法大体上有：
加权平均融合[3]这是一种最简单的图像融合方法，由于其是直接对源图像对应的像素点进行加权平均处理，所以权值选取则成为该融合的关键问题。
在众多像素级融合算法中，多分辨率图像融合算法是使用范围最广的算法，不断有新的改进算法被提出。
基于多分辨率图像融合的改进主要是有两个方面：
一是基于图像的多分辨率分解和重构改进，在图像的多分辨率分解和重构方面，多分辨率分解最初进入图像融合领域是由Burt等人提出的，首先利用高斯拉普拉斯塔型分解算法将图像分解，得到图像的塔型结构，对得到的系数进行基于最大绝对值融合规则来进行融合处理[29]。
Burt等人又相继提出了梯度塔型分解的概念，它不仅具有多分辨率性质，而且提供了一定的方向分辨能力，提高了融合算法的融合效果[18]。
Cunha等人在Contourlet变换基础上提出的非下样Contourlet变换真正获得了平移不变性，由于其在变换过程中不存在下采样，从而克服了混频现象，是一种最优的二维图像信号稀疏表示方法[15]。
将其用于图像融合，获得的融合图像效果好。
而基于多分辨率图像融合改进的另一个方面是融合规则的改进，国内外不少专家在融合规则上作了深入的研究。
Burt等人提出的融合规则是基于像素的选取，首先将源图像分解成不同分辨率图像，然后提取绝对值最大的像素值（系数值）作为融合后的像素值（系数值），这是因为在不同分辨率图像中，像素值较大的图像包含更多的信息[20]。
蒲恬等人利用人眼视觉系统对局部亮度对比度变化敏感特性，有效的保留了图像中的细节[23]。
张强等人提出根据源图像的物理特性以及人眼视觉特性的融合规则，首先将源图像进行非下样Contourlet分解，对低频子带系数采取基于图像物理特性的平均加权融合规则，对各带通方向子带系数采取基于局部能量匹配的平均加权与选择的融合规则，能够有效的避免“人为”效应或高频噪声，得到具有更好视觉效果和更优量化指标的融合图像。
1.3本文的主要工作
本文研究工作的重点是多传感器（多源）图像融合的方法。
涉及的内容包括图像融合的概念、图像融合的目的和意义、图像融合的应用、图像融合的简单方法、图像的多尺度/多分辨率塔形分解、基于塔形分解的图像融合方法、图像融合方法的性能研究及图像融合效果的评价方法和准则等。
在图像融合方法及其性能评价的研究过程中,进行了大量的、不同类型的图像融合试验,进行了大量的定量评价计算和分析,并得到了一系列的重要结论。
全文共分为章,第二章至第五章的内容安排如下:
第二章介绍了常用的军用图像传感器及其性能特点,结合具体的例子说明了多传感器图像融合的目的和意义。
阐述了多传感器图像融合的概念和融合层次的概念,对图像融合像素级层次上的融合进行了较深入的研究和剖析,文中将像素级图像融合方法归为两大类,对两类图像融合方法的基本原理进行了简要说明。
第三章重点介绍了灰度值平均、加权平均、灰度值选大、灰度值选小四种简单的图像融合方法的原理和实现。
给出了一组图像融合的实验及其结果,对加权平均融合方法和灰度值选小融合方法进行了性能比较。
实验中利用融合后图像、对简单图像融合方法的性能特点进行了小结。
第四章深入研究了图像的高斯塔形分解、拉普拉斯塔形分解、对比度塔形分解,对多种塔形分解的算法、实现、重建、性能特点和物理意义进行了研究。
利用对比度塔形分解和文中给出的融合方法和融合规则取得了融合效果。
图像的塔形分解是一种多尺度、多分辨率分解。
文中根据基于这些塔形分解的图像融合方法同时,对图像融合的规则和算子进行了研究,根据基于像素和基于区域的融合规则的概念,基于区域特性量测的融合规则,给出了适合不同塔形分解融合方法的融合算子的表达式。
为了说明基于塔形分解图像融合方法的有效性,文中给出了多组图像融合的实验及其结果。
第五章分析了人的视觉特性及其对人的主观评价结果的影响。
根据图像熵、均方根误差、峰值信噪比三个图像融合效果/性能的定量评价方法和准则。
对本论文给出的多种图像融合方法的融合性能进行了比较。
重点研究了不同融合规则对融合性能的影响、等问题。
根据定量评价计算和结果分析,得到了一些结论。
第二章图像传感器及多传感器图像融合
在某些情况下,由于受照明、环境条件（如噪声、云、烟雾、雨等）、目标状态（例如运动、密集目标、伪装目标等）、目标位置（如远近、障碍物等）以及传感器固有特性等因素的影响,通过单一传感器所获得的图像信息不足以用来对目标或场景进行更好的检测、分析和理解,这正是图像融合要解决的问题。
所谓图像融合是指综合两个或多个源图像的信息,图像融合的目的就是通过对多幅图像信息的提取与综合,从而获得对同一场景/目标的更为准确、更为全面、更为可靠的图像描述。
该融合图像应更符合人或机器的视觉特性,以利于对图像的进一步分析、理解、目标的检测、识别或跟踪。
图像是二维信号,图像融合是多传感器数据融合的一个重要分支。
图像融合充分利用了多个被融合图像中包含的冗余信息和互补信息。
2.1多传感器数据融合算法
对于同一目标或场景,由多个不同特性的传感器获取的图像信息是有所差异的;即使是采用相同的传感器[1],在不同观测时间或不同观测角度获得的信息也可能不同。
从多个传感器获得的图像信息中包含了冗余信息和互补信息,以两个传感器A、B为例,其信息构成的示意图如图2.1所示。
图2.1传感器信息构成
通过对来自多个传感器的图像进行融合处理后,获得的融合图像包含了任何单一传感器均无法提供的信息。
概括地说,图像融合将带来以下好处:
1）利用多个传感器提供的冗余信息可提高融合图像的可靠性。
2）利用多个传感器提供的互补信息,融合后的图像包含了更为精确、全面、丰富的信息,其更符合人或机器的视觉特性、更有利于对图像的进一步分析处理以及自动目标识别。
3）在不利的环境条件下（例如烟、尘、云、雾、雨等）,通过多传感器图像融合可以改善检测性能。
例如,在烟、尘、云、雾环境下,TV（可见光）图像质量差（甚至无法看清目标）,而毫米波雷达获得的图像对于烟、云、尘、雾却有较强的穿透能力,尽管信号会有些衰减,但仍然可获得较清晰的图像。
2.2多传感器像素级图像融合层
图像融合是采用某种算法对两幅或多幅不同的图像进行综合与处理,最终形成一幅新的图像。
根据融合处理所处的不同阶段,图像融合的处理通常可在以下三个不同层次上进行:
1）像素级融合;
2）特征级融合;
3）决策级融合。
本文重点研究像素级图像融合。
像素级图像融合亦称为基于像素的图像融合,图2.2示意了在图像处理的全过程中,像素级图像融合处理所处的位置与层次。
像素级图像融合属于底层的图像融合,它的优点在于它尽可能多地保留了场景的原始信息。
通过对多幅图像进行的像素级图像融合,可以增加图像中像素级的信息,它提供了其它两种层次图像融合（特征级融合和决策级融合）所不具有的细节信息。
参加融合的诸图像可能来自多个不同类型的图像传感器,也可能来自单一图像传感器。
单一图像传感器提供的各图像可能来源于不同观测时间或空间（视角）,也可能是同一时间、空间不同光谱特性的图像（如多光谱照相机获得的图像）。
与单一传感器获得的图像相比,通过像素级图像融合后的图像包含的信息更丰富、精确、可靠、全面,更有利于图像的进一步分析、处理与理解（如场景分析/监视、图像分割、特征提取、目标识别、图像恢复等等）,像素级图像融合可能提供最优决策和识别性能。
在某些场合下（如目标识别）,实施像素级图像融合之前,有时可能需要先对参加融合的各图像进行预处理（如图像的增强、降噪等）,其目的是提高检测性能。
但这种预处理并非必需的。
在进行像素级图像融合之前,必需对参加融合的各图像进行精确的配准,其配准精度一般应达到像素级。
图2.2基于像素的图像融合
2.3多传感器图像融合的目的
图像融合是一种综合多个源图像信息的先进图像处理技术,其目的是集成多个源图像中的冗余信息和互补信息,以强化图像中的信息、增加图像理解的可靠性。
通过多传感器图像融合将会获得更精确的结果,也将会使系统更实用。
同时,融合后的图像具有良好的鲁棒性,例如,可以增加置信度、减少模糊性、增加可靠性、改善分类性能等。
目前,总的看来,将多传感器图像融合应用于数字图像处理的主要目的有以下几种:
1）图像锐化;
2）产生立体视觉,以用于立体摄影测量;
3）增强在单一传感器图像中无法看见/看清的某些特性;
4）为改善检测/分类/理解/识别性能获取补充的图像数据信息;
5）利用不同时刻的图像序列来检测场景/目标的变化情况;
6）利用其它传感器图像来替代/弥补某一传感器图像中丢失/故障信息。
2.4多传感器图像融合的方法
当明确了多传感器图像融合的应用场合/目的、搞清了需要特别融合处理的最关心/最重要的图像信息及特征信息、确定了在融合处理前有必要进行的图像预处理步骤、了解了各图像传感器的特性和模型等问题之后,接下来要解决的问题是确定融合处理实施的层次以及具体的融合处理方法。
如前所述,在三个层次（像素级、特征级、决策级）上的图像融合方法中,像素级多传感器图像融合是最基本、最重要的图像融合方法,同时,其也是获取信息最多、检测性能好、适用范围最广、实施难度最大的一种融合
升级会员 