全景图拼接系统的设计.docx

全景图拼接系统的设计.docx

《全景图拼接系统的设计.docx》由会员分享，可在线阅读，更多相关《全景图拼接系统的设计.docx（44页珍藏版）》请在冰豆网上搜索。

全景图拼接系统的设计

摘要

全景图（PanoramicImage）是近来出现在Internet上的另一种新的交互式的虚拟场景表示方式,它基于图绘制IBR（Image-BasedRender）的方式再现了三维场景,可用浏览器实现虚拟场景的漫游,同时也详细介绍了这种全景图浏览器的实现原理。

本文在总结已有技术的基础上，提出一个基于全景图的虚拟现实系统模型，并改进算法实现了高效的拼接，全景图是一种能覆盖大范围场景的宽视角图像。

除了用特殊的相机获取外，目前多采用图像拼接技术，即将普通相机拍摄的两幅或多幅来自同一场景的有重叠区域的图像拼合成为一幅宽视角的高质量图像。

这是当前图像处理的一个热门研究课题，也是基于图像绘制的一部分，适用性很强，应用于虚拟现实的实现、卫星照片的处理和医学图像处理等领域。

本文在总结已有技术的基础上，全面总结了在研究全景图拼接关键技术课题中所做的工作。

主要包括以下几个方面:

针对传统的模板匹配算法中存在的问题，本文提出了自适应模板匹配算法，即在进行匹配之前，首先基于局部边缘密度LED和模糊聚类算法定位出特征物体区域，然后以该区域为模板计算其局部嫡差，在另一幅图像中进行搜索，找到最佳匹配点;在基于特征的图像匹配算法研究中，采用了多尺度的Harris角点提取算法提取特征点，以一种鲁棒的特征点匹配策略进行匹配对的过滤，保证以提纯后准确的特征点数据来做点变换估计，从而确定待拼接图像之间的变换参数，确保准确地定位出重叠区域;在图像融合方面，对原亮度调和处理算法进行了改进，消除了拼接图像中存在的亮度差别，然后采用渐入渐出算法和最佳缝合线算法消除了拼接图像中的拼接接缝和鬼影问题。

实验结果显示，上述算法可以实现待拼接图像的准确配准和拼接图像中接缝和鬼影等砌象的消除。

最后，用MicrosoftVisualC++6.0开发了一套较完整的全景图自动拼接系统。

关键词：

全景图；MicrosoftVisualC++6.0；虚拟现实；图像拼接；

Abstract

Panoramic（PanoramicImage）isarecentlyemergedintheInternet,anothernewinteractivevirtualenvironmentthatway,itisbasedonmappingIBR（Image-BasedRender）wayreproducethree-dimensionalscene,thebrowsercanbeusedtoimplementvirtualsceneroaming,aswellasdetailsofthispanoramaofRealizingthebrowser.Thispapersummarizestheexistingtechnologyisproposedbasedonapanoramicimagebasedvirtualrealitysystemmodel,andimprovetheefficiencyofthesplicingalgorithm,panoramaisawiderangeofscenariosthatcancoverwideviewingangleimage.Inadditiontousingaspecialcameratoobtain,thecurrentlyusedimagestitchingtechnology,abouttwoordinarycamera,orpiecesofthesamescenefromtheoverlappingregionofimagesputtogetherintoawideviewingangle,high-qualityimages.Thisisthecurrentimageprocessingofahotresearchtopic,isalsopartofimage-basedrendering,theapplicabilityofastrong,usedinvirtualreality,satellitephotosoftheprocessingandmedicalimageprocessingandotherfields.Thispapersummarizestheexistingtechnology,basedonacomprehensivesummaryofresearchPanoramaStitchinginthekeytechnologyissuesintheirwork.Includethefollowing:

thetraditionaltemplatematchingalgorithmfortheproblem,thispaperproposesanadaptivetemplatematchingalgorithm,thatis,beforeamatch,thefirstLEDbasedonlocaledgedensityandcharacteristicsoffuzzyclusteringalgorithmlocateobjectregionthentotheregionasatemplatetocalculatethelocalentropydifference,animageinanothersearchtofindthebestmatchpoint;infeature-basedimagematchingalgorithm,theuseofmulti-scaleHarriscornerdetectionalgorithmforfeaturepointextraction,witharobustfeaturepointmatchingstrategytomatchonthefilter,toguaranteetheaccuracyofthefeaturepointsafterpurificationdatadopointtransformationisestimatedtobesplicedtodeterminetransformationparametersbetweentheimagestoensureaccuratepositionofoverlappingregion;inimagefusion,thebrightnessoftheoriginalharmonictreatmentisimprovedtoeliminatethemosaicimagebrightnessdifferencesexist,thengraduallyoutofusegraduallyintothesuturemethodandthebestmethodtoeliminatethemosaicimagestitchingseamsandghostsshadowproblem.Experimentalresultsshowthatthealgorithmcanachieveaccurateimagestobesplicedregistrationandstitchingintheseamsandtheghostimageastheeliminationofsuchpuzzle.Finally,MicrosoftVisualC++6.0hasdevelopedamorecompletepanoramamosaicsystem.

Keywords:

panorama;MicrosoftVisualC++6.0;virtualreality;imagemosaic;

毕业设计（论文）原创性声明和使用授权说明

原创性声明

本人郑重承诺：

所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。

尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。

对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。

作者签名：

　　　　　日　期：

指导教师签名：

　　　　　日　　期：

使用授权说明

本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：

按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。

作者签名：

　　　　　日　期：

学位论文原创性声明

本人郑重声明：

所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。

除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。

对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。

本人完全意识到本声明的法律后果由本人承担。

作者签名：

日期：

年月日

学位论文版权使用授权书

本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。

本人授权　　　　大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

涉密论文按学校规定处理。

作者签名：

日期：

年月日

导师签名：

日期：

年月日

指导教师评阅书

指导教师评价：

一、撰写（设计）过程

1、学生在论文（设计）过程中的治学态度、工作精神

□优□良□中□及格□不及格

2、学生掌握专业知识、技能的扎实程度

□优□良□中□及格□不及格

3、学生综合运用所学知识和专业技能分析和解决问题的能力

□优□良□中□及格□不及格

4、研究方法的科学性；技术线路的可行性；设计方案的合理性

□优□良□中□及格□不及格

5、完成毕业论文（设计）期间的出勤情况

□优□良□中□及格□不及格

二、论文（设计）质量

1、论文（设计）的整体结构是否符合撰写规范？

□优□良□中□及格□不及格

2、是否完成指定的论文（设计）任务（包括装订及附件）？

□优□良□中□及格□不及格

三、论文（设计）水平

1、论文（设计）的理论意义或对解决实际问题的指导意义

□优□良□中□及格□不及格

2、论文的观念是否有新意？

设计是否有创意？

□优□良□中□及格□不及格

3、论文（设计说明书）所体现的整体水平

□优□良□中□及格□不及格

建议成绩：

□优□良□中□及格□不及格

（在所选等级前的□内画“√”）

指导教师：

（签名）单位：

（盖章）

年月日

评阅教师评阅书

评阅教师评价：

一、论文（设计）质量

1、论文（设计）的整体结构是否符合撰写规范？

□优□良□中□及格□不及格

2、是否完成指定的论文（设计）任务（包括装订及附件）？

□优□良□中□及格□不及格

二、论文（设计）水平

1、论文（设计）的理论意义或对解决实际问题的指导意义

□优□良□中□及格□不及格

2、论文的观念是否有新意？

设计是否有创意？

□优□良□中□及格□不及格

3、论文（设计说明书）所体现的整体水平

□优□良□中□及格□不及格

建议成绩：

□优□良□中□及格□不及格

（在所选等级前的□内画“√”）

评阅教师：

（签名）单位：

（盖章）

年月日

教研室（或答辩小组）及教学系意见

教研室（或答辩小组）评价：

一、答辩过程

1、毕业论文（设计）的基本要点和见解的叙述情况

□优□良□中□及格□不及格

2、对答辩问题的反应、理解、表达情况

□优□良□中□及格□不及格

3、学生答辩过程中的精神状态

□优□良□中□及格□不及格

二、论文（设计）质量

1、论文（设计）的整体结构是否符合撰写规范？

□优□良□中□及格□不及格

2、是否完成指定的论文（设计）任务（包括装订及附件）？

□优□良□中□及格□不及格

三、论文（设计）水平

1、论文（设计）的理论意义或对解决实际问题的指导意义

□优□良□中□及格□不及格

2、论文的观念是否有新意？

设计是否有创意？

□优□良□中□及格□不及格

3、论文（设计说明书）所体现的整体水平

□优□良□中□及格□不及格

评定成绩：

□优□良□中□及格□不及格

（在所选等级前的□内画“√”）

教研室主任（或答辩小组组长）：

（签名）

年月日

教学系意见：

系主任：

（签名）

年月日

第1章 绪论

1.1课题研究的背景和意义

在日常生活中，使用普通相机来获取宽视野的场景图像时，人们必须通过调节相机焦距才可以摄取完整的场景，但这样所获取的场景照片的分辨率相对较低，这是因为相机的分辨率是一定的，拍摄的场景越大，得到的图像的分辨率就越低。

因此人们只能通过缩放相机镜头减小拍摄的视野以获取高分辨率的场景照片。

另外，由于距离的限制，某些超大尺寸的物体无法用一张照片拍摄下来，这在航天照片的拍摄中显得尤为突出。

利用广角镜头和扫描式相机可部分解决视角不足这一问题，但这些设备价钱昂贵、使用复杂而且广角镜头的边缘难免会产生扭曲变形。

为了在不降低图像分辨率的条件下获取大视野范围的场景照片，人们提出了图像拼接技术，将普通图像或视频图像进行无缝拼接，得到超宽视角甚至360度的全景图，这样就可以用普通相机实现场景宏大的景物拍摄。

近年来，随着虚拟现实技术的飞速发展，具有广阔应用前景的基于图形的绘制技术（ImageBasedRendering，简称IBR）己逐渐成为虚拟现实技术中一个倍受瞩目的热点问题。

该方法首先通过一组预先采集到的场景图像序列构建数据模型，而不是用三维几何模型来模拟一个场景，然后根据用户观察参数确定图像数据合成参数，最后通过图像拼接技术适当组合这些场景图像来产生虚拟场景视图，以完成虚拟场景的绘制工作。

由于基于图像的绘制方法充分地利用了图像本身所具备的真实感以及发挥图像显示速度快的优点，成为增强虚拟场景的真实感和提高实时场景绘制的一种重要手段。

在基于图像的绘制方法中，图像拼接技术是虚拟场景创建过程中的关键性环节。

在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。

所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节。

另外，图像拼接技术在机器人导航、视频压缩、军事领域[[8l及文档管理等领域都有应用。

从以上几点可以看出，全景图像拼接技术的发展前景十分宽阔，深入研究全景图像拼接技术有着很重要的意义。

1.2全景图拼接技术的发展与研究现状

近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。

目前出现的关于图像拼接的商业软件主要有Ptgui,Hugin,UleadCool360及PanoramaFactory等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。

图像拼接的核心技术是图像配准技术，配准算法的好坏直接影响到全景图的真实感和生成过程的实时性。

如何确定图像间的对应关系模型中的参数就是图像配准所要完成的工作，根据图像配准的方式大致可以将图像拼接技术分为三大类:

相位相关度法、基于区域的方法和基于特征的方法，相位相关度法最早在1975年由Kuglin和Hines提出，具有场景无关性，能够将纯粹二维平移的图像精确的对齐。

后来，DeCastr。

和Morandi发现用傅立变换确定旋转对齐，就像确定平移对齐一样[12]01996年，Reddy和Chaterji改进了DeCastr。

的算法，大大减少了需要转换变量的数量。

两幅图像的平移矢量可以通过它们互功率谱（CorssPowerSpectrum）的相位直接计算出来。

应用傅立叶变换进行图像的配准是图像拼接领域的研究成果，而且随着快速傅立叶变换算法的提出以及信号处理领域对傅立叶变换的成熟应用，图像拼接技术也得到了相应的发展，基于区域的配准方法是在参考图像中选出一个大小为MXN的窗口，该窗口区域即为模板。

然后在待配准图像中选择足够大的搜索区域，将模板在搜索区域中移动时所覆盖的区域与模板进行相似性比较，寻找相似性最大的区域，该区域即为所要寻找的区域。

常用的相似性度量主要有:

归一化函数（normalizedcross-correlationfunction）[15]、相关系数（correlationcoefficient）、差平方（sequentialsimilarity）和最小二乘匹配（leastsquaresmatching）。

早期的图像配准算法大都是基于区域的，因为该算法简单易于硬件实现;另一方面，医学图像由于纹理特征不是很丰富，所以也多采用这种算法，但是这种算法不适合待拼接度图像中存在较大的旋转和不同视角等情况，基于特征的图像配准算法是图像拼接技术的另一研究热点。

在这种方法中，首先要对图像进行处理，提取满足特定应用要求的特征，然后利用特征之间的对应关系来确定模型中的参数。

目前大多数文献都是采用的点特征进行图像间的配准来实现图像的镶嵌，目前特征点提取算法己经比较成熟。

2000年，FrankNielsen针对Haussdorf距匹配算法和瓶颈匹配算法的缺陷，提出了基于桶状模型的角点匹配策略，用来解决大角度旋转图像的配准拼接问题。

2003年，M.Brow发表了全自动的图像拼接算法的文章，使用捆绑调整技术，解决图像拼接中经常会出现的叠加误差现象。

2004年，DavidG.Lowe采用了具有尺度不变性的SIFT角点提取算法,MatthewBrown则在特征点匹配过程中采用了椭圆限制条件和k-d树算法来解决图像多视角配准问题。

2006年，JaniBoutellie:

就部分视频模糊图像拼接进行了研究。

首先将视频序列的各帧图像依次进行配准注册，确保相邻两帧图像之间有尽可能大的重叠区域，注册的同时计算出运动模糊物体的总量;然后根据视频序列图像中的运动物体总量和配准注册的质量来选择用于最终图像配准融合的帧图像;最后将所选择的帧图像进行配准融合消除接痕。

2007年，Matthew采用概率模型确定一组无序图片的正确顺序并可以检测出噪声图像，实现了无序图像的自动拼接在国内，图像拼接技术起步相对较晚，但很快迅速发展了起来。

2001年，清华大学的研究人员提出了一种针对图像拼接过程中的计算量与拼接精度之间进行折衷的方案，该方案用三脚架保证摄像机基本绕垂直轴旋转，但是不对摄像机的旋转角度做严格限制郭海涛等提出了一种将遗传算法用于图像配准的算法，分析了遗传算法中群体的大小、交叉率、变异率及选择机制对影像匹配的影响，特别是对未成熟收敛等问题进行了较为深入的研究。

2005年，侯舒维、郭宝龙针对现有基于灰度级相似的图像拼接方法的缺点，提出了一种图像自动拼接的快速算法，该算法综合考虑了图像拼接的精度和速度，在基准特征块的提取上，采用简单的边缘信息闭值法，在块的搜索上，采用金字塔式分层搜索策略。

2006年针对动态全景图拼接，李文辉，张岩等人首先采用基于粒子优化的多分辨率拼接算法拼接成静态全景图，然后用摄像机在拍摄场景中拍摄做周期或随机运动的物体，实现视频纹理，最后将视频纹理对准到静态全景图中。

1.3研究内容

本文就图像拼接关键技术进行了研究，对现有的算法进行了实验分析，并对算法中存在的问题进行了相应的改进，具体内容如下:

1、研究并介绍了图像配准前需要做的准备工作，如图像的获取方式、彩色图像灰度化、全景图投影算法和插值算法。

2、在分析了己有基于区域的图像配准算法的基础上，根据本课题的实际，提出了一种改进的模板匹配算法—自适应模板匹配算法。

3、对基于特征的图像配准算法进行了研究。

针对原有Harris角点提取算法对尺度敏感的缺点，本文采用了多尺度的Harris角点提取算法，用鲁棒的角点匹配策略，实现了图像的配准。

4、对现有的各种融合算法进行了研究和比较，并对其中的基于亮度调和处理的融合算法进行了改进，使融合的效果更好;采用最佳缝合线算法和渐入渐出法较好地解决了图像中存在的鬼影和拼接接缝问题。

为了验证所研究的算法，本文在WindowsXP环境下，采用VisualC十十6.0开发工具，设计了一个用于全景图像拼接的可视化软件。

第二章全景图相关技术概述

2.1图像的获取方式

图像获取的方法非常重要，图像获取方法的不同导致取得输入图像的不同，最终拼接的结果也不同。

目前有多种途径用于获取全景图，主要包括下述三种情况:

（1）利用全景相机来直接采集一张柱面全景图像。

该方法需要使用特殊设备，不仅价格昂贵而且使用复杂;

（2）利用配备较大视域的镜头如鱼眼镜头拍摄。

这种方法拍摄的图像中存在很大的变形，将其用于生成球面全景图之前必须进行校正和变换;

（3）利用普通照相机、摄像机采集若干能够覆盖整个可视空间的照片序列或视频，相邻照片的拼接可以采用人机交互或自动方法完成。

这种方法使用普通照相机或摄像机获取图像对硬件要求不高，因此获得广泛应用。

利用普通照相机获取图像时，一般有下述三种情况:

1.旋转照相机拍摄

首先将照相机放在固定好的三脚架上。

拍摄时，照相机绕垂直轴旋转，每旋转一定的角度，拍摄一张照片。

拍摄得到一系列照片中相邻两张必须有部分重叠，重叠区域大小是图像拼接最重要的影响因素，重叠比例越大，拼接就越容易。

旋转照相机拍摄由于相机固定，较容易实现。

2.平移照相机拍摄

平移照相机指的是照相机在一个平行于成像平面的方向上平移。

在固定焦距的情况下，照相机放置在一个滑轨上移动拍摄。

物体和照相机的距离远近，或者拍摄物体的大小都会影响到最后的拼接结果。

这种情况的缺点是:

拍摄的相片在一个平面上，全景图的三维感觉不如旋转拍摄的效果好。

3.手持照相机拍摄

手持照相机拍摄这种方法比较容易做到，手持照相机原地旋转拍摄，或者按一定的路线平行于对象拍摄。

但是，拼接手持照相机的照片是很困难的，因为在拍摄过程中，照相机的运动非常复杂。

原地旋转拍摄类似于固定照相机旋转拍摄，但是角度控制、旋转控制都很差。

沿一定路线移动时，类似于平移拍摄，控制距离和保持相同的成像平面是很困难的。

本文图像的获取采用的是第一种方法。

拍摄时相邻图像具有一定程度的重叠，以便于拼接而得到全景图像。

2.2