基于双目立体视觉的距离测量.docx

基于双目立体视觉的距离测量.docx

《基于双目立体视觉的距离测量.docx》由会员分享，可在线阅读，更多相关《基于双目立体视觉的距离测量.docx（28页珍藏版）》请在冰豆网上搜索。

基于双目立体视觉的距离测量

-----------------------Page1-----------------------

基于双目立体视觉的距离测量

摘要立体视觉技术是机器人技术研究中最为活跃的一个分支，是智能机器人的重要标志。

双目立体视觉是通过对同一目标的两幅图像提取、识别、匹配和解释，重建三维环境信息的过程。

主要包括：

视频捕获、摄像机定标、图像预处理和特征提取、立体匹配以及三维重建。

通过对双目立体视觉技术的进一步研究，对多目视觉具有重要的启发，为解决智能移动机器人、工业装配机器人、家用机器人、公共服务机器人的视觉问题奠定良好的技术基础。

计算机立体视觉的主要研究内容是由多幅二维的平面图像恢复出被摄物体的三维坐标，而其中基于两幅图像的双目视觉技术则是一个研究热点。

双目立体视觉的基本原理是模仿人眼与人类视觉的立体感知过程，从两个视点观察同一景物，以获取不同视角下的感知图像，通过三角测量原理计算图像像素间的位置偏差，以获取景物的三维信息。

一个完整的双目视觉系统通常可分为图像获取、摄像机标定、特征提取、立体匹配、目标定位和深度图生成等六大部分。

本论文主要是图像特征提取、立体匹配这两方面的内容展开研究。

首先根据选择的立体视觉成像系统模型阐述了立体视觉测距的基本原理。

其次，对图像特征提取等预处理方法进行详尽地分析，通过实例对算法进行实验。

同时，对图像匹配问题涉及的内容包括图像匹配方式、质量控制策略等进行了总结。

最后，以特征提取与图像匹配研究为基础，针对不同类型的立体图像提出了基于图像边缘特征和图像兴趣点的匹配方法。

关键词：

立体视觉摄像机定标特征提取立体匹配深度图

-----------------------Page4-----------------------

长春理工大学硕士学位论文原创性声明本人郑重声明：

所呈交的硕士学位论文，《基于双目立体视觉的距离测量》是本人在指导教师的指导下，独立进行研究工作所取得的成果。

除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。

对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。

本人完全意识到本声明的法律结果由本人承担。

作者签名：

整垄三!

显年—王月—丝日长春理工大学学位论文版权使用授权书本学位论文作者及指导教师完全了解“长春理工大学硕士、博士学位论文版权使用规定”，同意长春理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅。

本人授权长春理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。

作者签名：

垒垄丝2旺月鱼日

-----------------------Page5-----------------------

第一章绪论§1．1引言视觉是人类观察世界、认知世界的重要功能手段，人类感知外部世界主要通过视觉、触觉、听觉和嗅觉等感觉器官，其中80％的信息是由视觉获取的，机器视觉是人类利用计算机实现人的视觉功能一对客观世界三维场景的感知、识别和理解，机器视觉是一个相当新而且发展迅速的研究领域，机器视觉技术正广泛地应用于各个方面，许多人类无法感知的场合，如危险场景感知等，机器视觉更突显其优越性。

机器视觉属于影像的重构技术，具有非接触性测量、实施简易的特点，具有广阔的应用前景，是有待于进一步开发的领域。

计算机视觉被认为是计算机科学和人工智能的一个分支，计算机视觉就是用机器代替人的眼睛和大脑，对客观世界进行感知和解释的技术。

该系统的首要目标是使计算机具有通过一幅或者多幅二维图像认知周围的三维环境信息的能力。

这种能力不仅可以使计算机能够感知三维环境中物体的几何信息，并且能够对它们进行描述、存储并使用图像来创建和恢复现实世界模型，从而达到认知现实世界的目的。

因此，自从计算机视觉这门科学出现以来就成为计算机科学的重要研究领域之一并且发展十分迅速。

现实世界中的物体都是三维的，人眼所获得的景物图像却是二维的，但是人类的视觉系统能够很容易地从二维图像中感知三维世界，获得三维世界的信息。

机器人视觉的研究目标就是使机器人具有通过一幅或多幅图像认知周围环境信息的能力。

这种能力不仅使机器人能感知环境中物体的几何信息，如其形状、位置、姿态、运动等，而且能对它们进行描述、存储、识别与理解。

机器人视觉系统的基本结构如图1．1所刁隋。

图像低层处理位置与形状物体描述图1．1机器人视觉系统基本结构

-----------------------Page6-----------------------

§1．2国内外研究现状、发展趋势§1．2．1国内外研究现状立体视觉的开创性工作是从60年代中期开始的。

70年代末，Marr创立的视觉计算理论对立体视觉的发展产生了巨大影响，现已形成了从图像获取到最终的景物可视表面重建的完整体系，在整个计算机视觉中已占有越来越重要的地位。

现在，国际上以计算机视觉为主题，或主要以计算机视觉为主题的国际会议有国际计算机视觉会议（ICCV），国际模式识别会议（ICPR），国际计算机视觉与模式识别会议（CVPR），欧洲计算机视觉会议（ECCV）与亚洲计算机视觉会议（ACCV）。

以计算机视觉为主要内容之一的国际刊物JournalTrans．On也很多，有InternationalofComputerVision,IEEEPAMI，CVGIP（ComputerVision,GraphicsandImageProcessing），VisualImageComputing，UPRAI（IntemationalJoumalofPaUemRecognitionandArtificialIntelligence），PatternRecognition等，每年的研究论文不下数千篇，发表的论文也数以百计。

在Marr理论的框架下，取得了一大批科研成果，也包括数据结构、算法层次上的各种算法和在硬件实施方面的一些实验系统。

但这些理论、方法、算法在实际应用中并没有产生能完全取代人的视觉系统。

双目体视目Iii『主要应用于四个领域：

机器人导航、微操作系统的参数检测、三维测量和虚拟现实。

在国外，日本大阪大学自适应机械学院研制了一种自适应双目视觉伺服系统，实现了对运动方式未知的目标的自适应跟踪。

日本东京大学将实时双目立体视觉和机器人整体姿态信息集成，开发了仿真机器人动态行走导航系统。

日本冈山大学使用立体显微镜、两个CCD摄像头、微操作器等研制了使用立体显微镜控制微操作器的视觉反馈系统，用于对细胞进行操作，对钟子进行基因注射和微装配等。

麻省理工学院计算机系提出了一种新的用于智能交通工具的传感器融合方式，由雷达系统提供目标深度的大致范围，利用双目立体视觉提供粗略的目标深度信息，结合改进的图像分割算法，能够在高速环境下对视频图像中的目标位置进行分割。

在国内，浙江大学机械系完全利用透视成像原理，采用双目体视方法实现了对多自由度机械装置的动态、精确位姿检测：

东南大学电子工程系基于双目立体视觉，提出了一种灰度相关多峰值视差绝对值极小化立体匹配新方法，可对三维不规则物体（偏转线圈）的三维空间坐标进行非接触精密测量。

哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航。

火星863计划课题“人体三维尺寸的非接触测量”，采2

-----------------------Page7-----------------------

用“双视点投影光栅三维测量”原理，由双摄像机获取图像对，通过计算机进行图像数据处理，不仅可以获取服装设计所需的特征尺寸，还可根据需要获取人体图像上任意一点的三维坐标。

§1．2．2发展趋势20世纪70年代中期以Matt、Barrow和Tenenbaum等人为代表的一些研究者提出了一整套视觉计算的理论来描述视觉过程，其核心是从图像恢复物体的三维形状。

在视觉研究的理论下，以Marr的理论影响最为深远，并成为这一领域的主导思想IlJ。

马尔教授认为：

视觉可分为三个阶段。

第一阶段是早期视觉（earlyvision），其目的是拍取观察者周围景物表面的物理特性，如距离、表面方向、材料特性（反射、颜色、。

纹理）等，具体来说包括边缘检测、双目立体匹配、由阴影确定形状、由纹理确定形状等。

第二阶段是二维半简图（2．5Dsketch）或本征图像（IntrinsicImage）。

它是在以观察者为中心的坐标系中描述表面的各种特性。

根据这些描述，可以重建物体边界，按表面和体积分割景物。

但在以观察者为中心的坐标系中只能得到可见表面的描述，得不到遮挡表面的描述，故称二维半简图。

第三阶段是三维模型一视觉信息处理的最后一个层次，是用二维半简图中得到的表面信息建立适用于视觉识别的三维形状描述。

这个描述应该与观察者的视角无关，也就是在以物体为中心的坐标系中，以各种符号关系和几何结构描述物体的三维结构和空问关系。

经过近三十年的发展，在马尔的理论框架下，机器人立体视觉取得了一大批成果。

但随着机器人立体视觉研究的不断深入，大们发现了马尔视觉理论的局限性，即从景物图像或系列图像求出景物精确的三维几何场景并定量的确定景物中物体的性质时遇到了困难121。

在Marr的理论中，输入是被动的，给什么图像系统就处理什么图像，整个处理过程基本上是“自底向上”的，没有反馈。

处理的目的是不变的，总是要求出场景中物体的形状和它们的空I’日J位置和关系。

其理论强调表示的重要性以及从不同层次上去研究信息处理问题，在计算理论和算法实现上又特别强调计算理论的重要性。

这些理论多数是建立在对人类感知三维信息分析的基础上。

尽管这些方法在数学上是可行的，但由于各种干扰的存在以及逆成像的问题，使得问题本身是病态的。

进入80年代中后期，随着移动式机器人立体视觉研究的发展，大量运用空间几何的方法以及物理知识来研究双目立体视觉，其主要是完成对道路和障碍的识别处理。

这一时期引入主动视觉的研究方法，并采3

-----------------------Page8-----------------------

用了距离传感器以及视觉融合技术等，由于这种研究方法可直接取得深度图或通过移动获取深度图，因而使很多病态问题变成良态的。

此外在视觉的研究中重视了对定性视觉、有目的的视觉等的研究。

上述这些理论和方法的研究有力地促进了相关应用的发展，这些应用领域包括对照片特别是航空照片和卫星照片的解释、精确制导、移动机器人立体视觉导航、医学辅助诊断、工业机器人的手眼系统、地图绘制、物体三维形状分析与识别以及智能人机接口等【3】【4】。

在立体视觉的应用方面不乏成功的例子。

如1996年闩本成功研制出利用双目视觉来指导机械手动作的樱桃番茄收获机器人等151。

立体视觉经过二三十年的研究，已经有了很大的发展。

从当前的发展来看，计算机视觉的发展动向可以归纳如下：

（1）以全面的观点将立体视觉系统的各个模块联系起来，充分挖掘内在信息。

（2）由传统的两视点立体视觉向多视点立体视觉并从完全静态的立体视觉向动态立体视觉发展，通过增加信息输入降低视觉计算的难度。

（3）立体视觉系统逐渐向智能化方向发展，研究基于知识的、模型的和规则的立体视觉方法。

（4）算法从以前的串行处理向并行处理发展，采用并行流水线机制和专用的信号处理器件，增强立体视觉系统的实用性。

（5）由专用的视觉系统向通用的系统发展。

强调场景与任务的约束，针对不同的应用目的，建立有目的的和面向任务的立体视觉系统。

随着计算机科学的飞速发展，VLSI技术的提高，并行处理机的深入研究，立体视觉研究的前景逐渐显现出来。

可以预见，计算机视觉、生物物理等多学科专家通力合作，必将在立体视觉的研究中取得丰硕成果。

与人类自身的视觉器官相比，目|；{『的立体视觉系统还很不健全，还处在一个十分不成熟的阶段，计算机立体视觉系统的研究面临着一系列技术难点州：

（1）立体视觉系统在分析和理解图像时都需要立体匹配，而这一技术还很不完善。

在具有灰度失真、几何失真（透视、旋转、缩放等失真）和噪声的情况下匹配图像是十分困难的。

目前还没有一个可靠的通用的匹配方法。

尤其在失真和噪声比较严重的情况下，匹配更为困难。

而现实世界中物体问的相互遮挡，物体本身各部分问的遮挡更增加了图像匹配的难度。

4

-----------------------Page9-----------------------

（2）人类视觉系统具有惊人的分析理解力，人是如何精确获取视觉知识的，至今还末研究清楚。

由于视觉信息具有很高的冗余度，选取哪些特征可以解决立体视觉问题，目前尚无一种通用的方法以尽量减少视觉信息的冗余度，提高算法效率。

（3）立体视觉系统所需的计算量是非常庞大的，对于一幅标准的航空摄影照片（3000X3000），只用一个3×3的算子对其进行一次卷积运算就相当于108次乘法运算。

然而实用的系统对时间的要求是有一定限制的。

在现阶段集成电路和特殊功能部件的发展还不能满足实时性的要求，这为立体视觉系统完全变为实用的通用系统设置了一大障碍。

§1．3双目立体视觉系统概述生物功能的模拟是现代机器人视觉的最大挑战17J。

从二维灰度图像中获得三维深度信息、是机器人视觉中发展最迅速的领域。

基于深度识别目的具有代表性的方法有：

立体对计算深度、运动中计算深度、光流中恢复深度等。

立体对深度计算就是利用双目立体视觉来完成深度识别的。

双目立体视觉（也称双目视觉）是用两台性能相同、位置固定的CCD摄像机，获取同一景物的两幅图像，计算空|'日J点在两幅图像中的“视差（disparity）”，以此确定场景的深度信息，进而构建场景的三维结构。

一套完整的双目立体视觉算法可分为六个主要部分：

图像获取、摄像机定标、特征提取、立体匹配、深度计算及深度信息内插I“。

在一个典型的双目立体视觉系统中，两摄像机沿基线放置，其光轴相互平行，空间点的像分别在左右两个像平面上的投影位置的『日J距称为视差。

由视差计算深度是非常容易的，但视差本身的计算是立体视觉中最困难的部分，它涉及到模型分析、摄像机定标、图像预处理、特征选取及特征匹配。

在机器人双目立体视觉系统的硬件结构中，目前通常采用两个CCD摄像机作为视频信号的采集设备，通过专用图像采集卡与计算机连接，把摄像机采集到的模拟信号经过采样、滤波、量化，最终提供给计算机图像数据。

而当置于移动机器人上的摄像机光心平行放于～条直线上时，构成平行双目立体视觉系统，这是最简单最典型的一种情况，通过对它各个部分的几何关系的分析，我们可以获取目标场景的深度信息。

机器人双目立体视觉系统的软件结构包括计算机操作系统及其应用软件、视觉处理算法、机器人控制软件。

其中视觉处理算法的范围十分广阔，根据应用目的的不同，可包括图像输入处理、摄像机定标算法、

-----------------------Page10-----------------------

图像预处理（滤波、边缘提取等）、特征选取、图像匹配、深度识别、深度图生成等。

目前，在机器人立体视觉中摄像机定标、立体匹配是最为活跃的研究分支。

这两部分关系到移动机器人定位的准确性和目标跟踪的精度。

另外，深度图生成技术的快速发展，为三维场景的生成及深度可视化提供了技术支持。

§1．4数字图像处理及关键技术图像处理是一个发展比较成熟的领域，图像处理通常是把一幅图像变换成另一幅图像，也就是说，图像处理系统的输入是图像，输出仍然是图像，信息恢复任务则留给人来完成。

图像处理包括图像增强、图像压缩和模糊校正与非聚焦图像等内容。

机器视觉系统把图像作为输入，产生的输出为另一种形式。

比如图像中物体轮廓的表示。

因此机器视觉的重点是在人的最小干预下，由计算机自动恢复和识别场景信息。

图像处理算法在机器视觉早期阶段起着很大的作用，它们通常被用来增强图像特定信息并抑制噪声。

人工智能（artificialintelligent，AI）涉及到智能系统的设计和智能计算的研究。

在经过图像处理和图像特征提取过程后，接下来要用人工智能方法对场景特征进行表示，并分析和理解场景。

人工智能有三个过程：

感知、认知和行动。

感知是把反映现实世界的信息转换成信号，并表示成符号，人只是对符号进行各种操作，行动则把符号转换成影响周围环境的信号。

人工智能的许多技术在机器视觉的各个方面起着重要的作用。

事实上机器视觉常被视为人工智能的一个分支。

人工神经网络（artificialneuralnetworks，ANNs）是一种信息处理系统，它是由大量简单的处理单元（称为神经元）通过具有强度的连接相互联系起来，实现并行分布式处理。

人工神经网络的最大特点是可以通过改变连接强度来调整系统，使之适应复杂的环境，实现类似人的学习、归纳和分类等功能。

人工神经网络己经在许多工程技术领域得到了广泛的应用。

神经网络作为一种方法和机制将用于解决机器视觉中的许多问题。

现实世界是三维的空间，经摄像机成象后，成为丢失了距离信息的二维图象。

然而，在计算机技术高速发展的今天，许多智能系统需要感知周围环境的三维信息。

至今，研究人员提出多种从二维图象中恢复三维信息的方法p1。

以Marr[”1的计算视觉理论为基础的双目体视方法就是其中的一种重要的方法。

双目立体视觉系统有多个部分组成。

立体匹配是最为关键的技术，匹配结果的优劣直接影响系统的最后输出。

6

-----------------------Page11-----------------------

§1．4．1双目体视的几何关系[Ill双目体视系统的成象几何关系如图1所示。

系统采用双相机平行光轴成象，图ZR体视基线b图1．2双目体视几何关系图中，L、厶分别表示左右象平面，，代表焦距，b是左右图象坐标系的原点仉、D。

间的距离，称为体视基线。

设世界坐标系∥（J，Y，z）的3个坐标轴分别与左图象所在坐标系c。

（以，圪，z。

）的3个坐标轴重合。

兄（z，，乃，z』），最（x，，Y，，z，）分别表示三维空间中的一点P（x，Y，Z）在左右象平面上的投影象点，投影线P0，和PD。

所确定的平面被称为核心平面。

该平面与左右象平面的交线为核心线。

所以，左图中核心线上的一点，其右图中的对应点也在核心线上。

利用核心线的这种几何关系，可以使得匹配过程极大的简化。

§1．4．2立体匹配立体匹配是寻求同一空间景物在不同视点下投影图像的像间的一一对应关系。

与普通的图像模板匹配不同，立体匹配是在两幅存在视点差异，几何、灰度畸变和噪声干扰的图像|'日J进行，不存在任何的标准模板。

立体图像匹配的主要困难在于图像之间不可避免地存在着差异。

造成图像之问存在差异的原因有很多，概括起来包括以下几种：

灰度差异：

由于成像角度的不同及照明条件的变动，使景物表面上7

-----------------------Page12-----------------------

某点在不同成像平面上的投影点的灰度值产生较大的差别。

遮挡效应引起的差异：

现实景物之间，不可避免地存在着视线的遮挡效应，景物被遮挡的部位和遮挡的程度会随着视角的不同而改变。

特征抽取结果的差异：

发生在立体像对特征之间的匹配是以图像特征提取为基础的，所以当两幅图的不同部位的反差存在差异时则会在反差弱的区域产生特征丢失的现象。

丢失特征部位和丢失特征程度的差异给图像匹配带来了很大的困难。

噪声引起的差异：

由于成像系统和图像预处理技术远非理想，在每个环节都会引进虚假噪声，并且对两幅图像的损害程度可能不同，所以噪声也是引起图像匹配出错的重要原因。

由于这些难点，至今并无通用的匹配算法，各种算法都只是针对匹配技术的特定问题进行探讨，并且都有自己的限定条件。

但是，在图像匹配过程中，各种算法都采用了各种匹配约束条件和匹配质量控制策略，以提高匹配质量，确保获得好的匹配结果。

§1．4．3基本约束为了帮助建立像素间的对应，已提出了许多约束，来减少搜索的范围和确定正确的对应。

下面是一些最重要的约束。

（1）外极线约束如图1．2所示，投影线PD。

和P0。

所确定的核心平面与右象平面的交线称为左图像平面上那点最的外极线。

容易看出，无论与最对应的点P是远是近，它总在那条外极线上，所以，对任一点最，只要在它的外极线上去找它的对应点斥，这就是外极线约束。

它大大限制了搜索对应点的范围，是立体视觉中最基本的约束。

特别，如图1．2所示的成像系统模型，左右摄像机的光轴平行，x轴一致，并且摄像机的水平扫描线位于同一平面时的简单情形时，左图像上一点只（x，，Y，，z，）外极线就是Y，=Yt。

（2）相容性约束对应的特征，应有相同的属性，这一约束的具体含义随选用的特征及其属性不同而有所不同。

（3）唯一性约束

-----------------------Page13-----------------------

除了极个别的情况，一幅图像（左或右）上的每个特征只能与另一幅图像上的唯一的一个特征对应。

（4）连续性约束由于物体表面一般是平滑的，因而它们的偏差一般也是平滑的，在物体边界处的深度不连续的地方除外。

（5）灰度匹配约束同名像点灰度应相同或相近。

（6）顺序约束景物在左右影像点的投影顺序应一致。

§1．4．4匹配的实现从立体匹配实现的技术上考虑，立体匹配可以分为基于区域的匹配和基于特征的匹配，由于基于特征的匹配不直接利用灰度值进行匹配，而是利用由灰度信息抽象得到的图像特征进行匹配。

因此这种匹配技术具有对外界的变化不敏感、稳定性好、精度高、匹配速度快的优点，所以获得了较广泛的应用。

基于图像特征的匹配方法的匹配基元为从灰度图像中获取的景物的抽象特征，通过强调空间景物的结构信息来解决匹配歧义性问题。

该类匹配方法的匹配基元一般是经过处理后的图像边界点、直线、曲线或线段的组合、轮廓、区域等。

这些特征都对应着图像灰度变化剧烈的像素位置，通常与三维景物的几何结构相对应，因而它们具有较强的抗干扰能力和较精确的空间几何关系。

零交叉匹配基元以及多通道协同处理方式对立体视觉的发展起了巨大的推动作用。

1976年Marr基于其理论建立了模拟人类立视机制的匹配算法[121，该算法的核心是首次采用多分辨率V2G零交叉点作为匹配基元，利用零交叉分布特性和由粗到细引导的多通道协同匹配技术来解决匹配的歧义性和搜索空间大的问题。

Bakert”1和Arnoldt“I等提出以边缘点为匹配特征的匹配算法，并在匹配时首次采用了动态规划技术，将左右图像同一扫描线上的匹配特征，分别等效为动态规划的阶段与状态，通过在二维规划平面上搜索最佳路径得到最优的匹配。

已知立体成象模型和匹配视差后，三维距离的恢复是很容易的。

影响距离测量精度的因素主要有摄象机标定误差、数字量化效应、特征检测与匹配定位精度等。

一般来讲，距离的测量精度与匹配定位精度成正比，与摄象机基线长度成反比。

增大基线长度可改善距离测量精度，但同时会增大图像问的差异，增加匹配的困难。

因此，要设计一个精确的立视系统，必须综合考虑各方面的因素，保证各个环节都具有较高9

-----------------------Page14-----------------------

的精度。

§1．5课题主要研究内容立体视觉的基本原理是从两个（或多个）视点观察同一景物，以获取在不同视角下的感知图像，通过三角测量原理计算图像象素间的位置偏差（即视差）来获取景物的三维信息。

这一过程与人类视觉的立体感知过