视觉里程计在移动机器人中的应用Word格式文档下载.docx

1、近年来，随着计算机视觉技术的发展，其在机器人定位领域的使用得到不断深化。通过对单摄像机得到的图像序列进行计算的视觉里程计技术可以作为传统里程计的重 要补充，获得更为精确的定位信息。本文提出了一种单目视觉里程计的实现方法。该视觉里程计的实现利用固定在机器人车体上的单个摄像机完成。首先，通过实验，比较了 Harris（强角点）和 SIFT（尺度不变特征变换）提取及匹配算法，并采用 SIFT 方法来提取相邻图像帧间的特征点匹配点对。再讨论了摄像机标定的相关原理和实现方法，使用张正友标定方法将图像坐标系与世界坐标系关联，并得到摄像机参数。最后介绍了单目视觉里程计的实现思想及基本矩阵、本质矩阵的相关内容

2、，阐述了根据坐标变换求解相邻图像帧间的坐标系变换关系，获得机器人车体的移动距离和旋转角度的方法。关键词：移动机器人；定位；视觉里程计；单目视觉Visual Odometry for Mobile RobotAbstractAuthor：Lin Zhenfei Tutor：Gao YuanThe abilities of localization and mapping are very important for Robot autonomous navigation in unknown environment. Localization is the basis for Mobile Ro

3、bots navigation. Odometer method is the most common method for mobile robot navigation.Recently,with the development of computer vision, vision based localization techniques of Mobile Robots are developing rapidly. Visual Odometer from series image frames has been described as an important assistant

4、 of conventional odometer to obtain more accurate result of navigation and localization.In this paper, the realization of a Monocular vision odometer is proposed. It needs only one camera which mounted on the Mobile Robot. Firstly, through the experiment, compared with Harris and SIFT extraction and

5、 matching algorithms, we adopt SIFT algorithm to extract matching point pairs between the series image frames. Then, the principles and implementation methods of calibration had been discussed. Through the Zhang calibration method, we obtain the relationship of coordinate system between image and re

6、al world, figure out the camera parameters. Finally, the realization ideas, the Fundamental matrix and the Essential matrix of monocular visual odometer were introduced, we elaborate the solution of coordinate transformation between the seriese image frames, access the estimation of the distance and

7、 rotation angles of the robot body.Key words:mobile robot; location; Visual Odometry; Monocular vision;第 V目录1 绪论11.1 研究的背景及意义11.2 国内外研究现状21.3 本文主要工作42 图像特征点的提取与匹配62.1 数字图像的基本概念62.1.1 图像颜色模式62.1.2 数字图像表示62.2 特征点的提取方法概述72.3 Harris 角点检测算法82.3.1 Harris 角点检测算法原理82.3.2 Harris 角点检测算法实验结果92.4 SIFT 角点检测算法102

8、.4.1 宽基线特征匹配概述102.4.2 图像多尺度表示112.4.3 SIFT 角点检测算法原理122.4.4 SIFT 角点检测算法实验结果152.5 特征点的匹配172.5.1 特征点的匹配方法概述172.5.2 Harris 特征点匹配182.5.3 SIFT 特征点的匹配193 摄像机标定技术213.1 摄像机标定的原理213.1.1 透视投影213.1.2 刚体变换223.1.3 计算机视觉中的几个坐标系及相互关系233.2 摄像机标定方法的分类263.2.1 Tsai 标定方法273.2.2 张正友标定方法284 单目视觉里程计模型的建立314.1 关于运动图像的检测问题314

9、.2 单目视觉里程计实现思想324.3 车体里程信息获取方法344.3.1 基本矩阵 F344.3.2 本质矩阵 E344.3.3 里程信息的获取及结果分析35结论37致谢38参考文献39附录41附录 A摄像机标定代码41附录 B英文文献及中文翻译45第 21绪论1.1 研究的背景及意义移动机器人是机器人学中的一个重要分支，早在 60 年代，人们就已经开始了移动机器人的研究。其主要目标是研究在复杂环境下机器人的实时控制问题，涉及到任务规划、运动控制与导航、目标识别与定位、机器视觉、多传感器信息处理与融合以及系统集成等多项关键技术。随着技术的发展和应用领域的不断扩展，移动机器人正朝着多功能化、智

10、能化、大众化的方向发展1。作为传感器、执行器、运动规划密切结合的活动载体，移动机器人具有广泛的应用前景和商业价值，其研究也越来越受到人们的重视。要实现机器人的自主导航就要解决三个问题，即：Where am I? Where am I going? How should I get there? 这第一个问题就是移动机器人的自定位2。只有确定了自己的位置，机器人才能够谈得上完成其它的功能。因此机器人定位问题有着显而易见的重要性。图 1.1 沙地场景行使状况里程计法是移动机器人导航技术中最为广泛采用的定位方法。传统里程计是基于 对车轮旋转次数或角速度信息的测定来估计运行距离，但这种方式存在着很大的

11、缺陷， 特别在一些特殊环境下（如地面松软，摩擦力弱，或是颠簸），如图 1.1。此外，在战场环境下,GPS 信号也会因为干扰等原因而变得不可靠,而工作在月表的月球车则完全没有 GPS 信息的辅助34。传统里程计就有可能出现较大偏差，甚至导致定位任务的失败。因此，里程计的改进也就成为研究的一个热点。现在很多里程计的改进都是关于提高传统里程计的精度，主要通过在传统里程计的设计上加入一些误差消除的办法，或是定期纠正偏差来提高精度，去除测量错误， 但特殊环境的影响还是无法去除，仅是精度的提高或是修正非线型累计误差。随着计算机视觉技术的发展，基于视觉的机器人定位方法由于信息量大、适应范围广而受到人们的普遍

12、重视，已经成为机器人导航技术的研究热点。所以视觉里程计一经提出就受到广泛的关注。视觉里程计是介于相对定位和绝对定位之间的一种辅助定位方法。利用机器人摄像机采集到的立体序列图像，通过特征提取、特征匹配与跟踪和运动估计得出机器人自身的运动参数（即位姿（x, y,q） ），由于类似于里程计的航位推算，所以这种基于图像信息的自运动估计方法被称之为视觉里程计（Visual odometry） 定位技术。与其他传感器相比，视觉里程计主要有以下优点：1、它依靠视觉输入信息，因此不存在因编码器读数不准、传感器精度降低或惯导漂移等因素造成的误差。2、无需场景及运动的先验信息。3、结合车轮编码器及惯导设备定期校正

13、误差，可获得更精确的车体定位，是传统方法的有效补充。4、它是 VSLAM（视觉同时定位与地图重建）等基于视觉的复杂导航算法的前期基础。5、采用被动视觉传感器，信息量大，结构简单，功耗小。1.2 国内外研究现状早在 1976 年，Hans Moravec and Donald Gennery 使用特征跟踪算法发明了“斯坦福推车”（Stanford Cart）第一架具有视觉能力而且能够自动导航的移动机器人，如图 1.2。这可以看做视觉里程计的雏形。自那时以来，许多研究机构开始探索用更先进的视觉传感器技术去指导机器人移动。到了 19 世纪 80 年代，Matthies 在卡耐基梅隆大学继续就这一问题

14、进行研究，并提出了视觉里程计的概念并进行了室内短距离的实验，取得了良好的效果。视觉里程计第 4技术主要有基于特征（feature）的离散处理方法和基于光流（optical flow）的连续处理方法。而对应的图像序列可以单目或双目立体序列。早期的研究主要是基于光流场的，利用摄像机拍摄的时间序列图像来估计光流。当摄像机与场景目标间有相对运动时，在图像平面上所观察到的亮度模式运动称为光流，或者说物体带光学特征部位的移动投影到图像平面上就形成了光流。根据光流可以恢复场景中物体的运动和形状参数。1996 年 Amidi 在卡耐基梅隆大学无人直升机项目中开发了基于光流场的视觉里程计定位导航系统。视觉里程计利用高速的帧频和低延迟技术来估计直升机的位置信息和速度信息。J.Campbell 同样利用光流场技术，结合 OpenCV 计算机视觉库，采用单目摄像机得到机器人运动时在环境中的位置和方向信息。但它的前提条件是假设地面平坦，相机相对于机器人和地面是固定的。然而，在实际应用中，由于遮挡性、多光源、透明性和噪声等原因，使得光流场基本方程的灰度守恒假设条件达不到满足，不能求解出正确的光流场，同时大多数的光流计算方法相当复杂，计算量巨大。因此，本文没有