使用多种功能的移动机器人视觉导航翻译完成.docx
《使用多种功能的移动机器人视觉导航翻译完成.docx》由会员分享，可在线阅读，更多相关《使用多种功能的移动机器人视觉导航翻译完成.docx（15页珍藏版）》请在冰豆网上搜索。
使用多种功能的移动机器人视觉导航翻译完成
EURASIP应用信号处理杂志2005:
14,2250-2259
2005年Hindawi出版公司
使用多种功能的移动机器人视觉导航
尼克梨
约克大学计算机科学系，约克大学，英国
电子邮件:
nep@cs.york.ac.uk
梁博建
约克大学计算机科学系，约克大学，英国
电子邮件:
bojian@cs.york.ac.uk
陈泽志
约克大学计算机科学系，约克大学，英国
电子邮件:
chen@cs.york.ac.uk
2003年12月22日收到;2004年7月29日修订
我们提出了一种方法，从移动机器人的视野中分割地平面，然后测量移动机器人的地平面上的非地平面特征的高度。
因此，移动机器人可以确定哪些特征它可以移动越过，哪些它可以移动钻过，以及哪些它需要从周围绕过。
除了躲避障碍之外，这些数据也可以用于定位和绘制地图。
所有这些对于未校准的相机都是可能的（仅限原始像素坐标），但仅限于（接近）相机的纯平移运动。
主要作用是（i）一种新颖的互倒极坐标（RP）图像校正，（ii）通过在RP空间中进行正弦模型拟合的地平面分割，（iii）用于测量仿射高度的新型投影构造，（iv）可以利用各种视觉特征的算法，并因此在各种各样的视觉环境中运作。
关键词和短语：
平面分割，图像校正，平面和视差，障碍物检测，移动机器人。
1.引言
1.1强大的多功能多视觉系统
为了长时间可靠运行（即小时/天/周而不是秒/分钟），计算机视觉系统必须使用图像流中与当前任务相关的所有信息。
这意味着系统可以适时地使用一系列特征提取器和视觉线索，即在图像流中可以使用被认为有用的约束来解决与任务相关的问题以及模糊的情形，使系统能够使相关信息准确化。
通过这种方式，可以最大程度地被获知视觉解释和决策。
我们认为，当视觉环境经常发生变化时，这一方法在不受限制的环境中特别重要，因为图像流中解释清楚的信息内容在不断变化。
因此，如果我们依赖单个特征或者结合的线索，例如角落或移动角，应用程序在角落很少的情况下，或者图像空间中的角落分布不均匀时将会失效。
我们已经将移动机器人视觉导航作为一个具有挑战性的计算机视觉问题，因为应用的本质表明，随着机器人移动，例如从一个房间到另一个房间，视觉环境可能会变化。
事实上，我们并没有对这里提到的工作做任何假设，除非有合理的平面。
这使得这项工作主要适用于室内移动机器人应用，而且还适用于穿越人造步行道等非常平坦的人造建筑物的户外应用。
已经采用了各种视觉特征（角落，边缘，颜色，纹理）和视觉线索（例如特征运动，视差）以利用于未校准摄像头的导航功能。
这些通过使用非垂直场景线[15]和宽场外围流[3]的扩展重点来导航到走廊。
使用与三个水平线以及地平面的消失线（地平面和障碍物平面）相关的投影不变量进行障碍物检测，已被成功应用于道路场景[5]。
其他的导航方法使用了图像散度的接触时间[14]，中心流散度和周边流量的组合[2]，以及使用点对应的定量平面区域检测[12]。
大多数这些技术适用于某些类型的场景，但在图像数据中不能很好地支持特定类型的特征或组合线索时则会失败。
我们相信解决方案是采用多功能，多重方法。
需要注意的是，使用这种多功能，多线索的系统将会是高度计算密集型的，因为有一系列带宽高的进程数据输入（原始视频数据）。
我们预计将使用高带宽低级别特征提取器作为具有并行处理流水线的硬件层，无论是通过现场可编程门阵列（FPGA）还是特殊用途的DSP来输出特征流。
更高层次的软件将能够访问更低的带宽特征流并选择/合并/融合这些部分，从而提供与特定视觉任务（在我们的例子中为机器人导航）相关的信息或限制。
当然，如何最好地设计一个框架，使计算机视觉系统能够明白如何在当前视觉驱动任务下和当前视觉环境的背景下融合特征和线索，这是一个困难，开放，跨学科研究问题。
我们的目标不那么有野心：
我们的目标是开发强大的计算机视觉应用程序，因为它们能够利用多种功能/线索。
虽然没有明确的场景理解这些，但在我们开发出能够学习和调整集成特征和线索的系统之前，我们需要了解如何手动构建多功能，多重算法。
我们在以下部分描述的算法能够提供（i）地平面的分割或者等同地平面像素的分组，（ii）测量提取的地平面上方所有其他特征（角，边或像素）的高度。
很明显，这些信息可以直接输入到一系列避障算法（行为和基准轨迹）中，但也可以用作机器人定位和映射算法的输入。
该算法可以利用地平面和非地平面的角落特征，但是如果这些特征很少（我们至少需要两个角部对应），它可以利用任何具有局部强度变化的区域。
如果没有局部强度变化（即，如果该区域是平滑的），它可以利用平滑区域边界的运动/变形，使用基于颜色纹理属性的分割算法提取边界。
1.2．多功能，多线索机器人视觉导航的概述
在本文中，我们重点研究移动机器人（未标定，单目）避障的应用，并提出了一个可以构建机器人可见（室内）环境的仿射高度景观的系统。
被获取的高度被称为仿射高度，因为它是以地平面之上的摄像机光学中心的高度为参考的高度比（仿射不变特性），或者是场景中的一些已知的高度测量。
景象术语被用于此，因为另外两个维度是基于视图的（即，未变换的像素坐标）。
仿射高度（ha）测量指标允许将潜在障碍分类为小到足以越过（我们要求ha<0.1），高到足以钻过（我们需要ha>1.25）或者可以避免真正的障碍。
在计算机视觉文献中有几种不同的方法来确定场景结构。
例如，3Dworld结构可以从未校准的在一般情况下给出了足够的对应关系的视图来计算，这方法已经被用于解决关于这个场景的具体的，合适的问题。
Tomasi和Kanade[8]的方法被称为分解方法;Triggs[9]通过使用极线约束来计算深度比例因子，将分解方法扩展到投影相机模型;Heyden等人[11]通过迭代优化将仿射近似值提升为投影结果。
其他人使用以摄像机为中心的方法，其中第一个视图用作参考摄像机以在多视图地理尺度约束下确定投影帧中其他摄像机的投影矩阵。
Criminisietal.[6]提出了从他们（单个）的每幅图像中测量领域内平面的方法。
Reid和Zisserman[4]给出了一种根据足球比赛的单眼图像序列来定位足球的3D位置的方法。
我们算法的一个重要部分是它可以使用各种各样的功能，此外，我们提出了三个重要的新结果：
首先，通过以延伸焦点（FOE）1的原点在互倒极性（1/r，α）形式表示图像1，当平移与地平面平行时，沿着1/r方向的一组共面点的图像运动是纯粹的平移运动。
这使得即使由于大型相机运动导致的大的图像失真，也可以通过一维相关性精确地恢复图像运动。
其次，我们证明这些位移的幅度沿着α方向以最大π弧度的正弦形式出现。
因此同时进行的地平面像素分组和地平面单应性的恢复相当于找到FOE然后稳健地拟合正弦曲线，其相位对应于地面消失线的方向并且其幅度与机器人/照相机平移的幅度有关。
该方法允许局部纹理化区域中的每个地平面像素促进于地平面单应性的估计，从而给出高度准确的结果。
最后，我们的第三个新结果表明，鉴于与地平面相关的单应性，剩余非圆面像素的仿射高度，与相机光学中心在地平面之上的高度有关，可以使用基于交叉比的构造计算的虚拟视差线索来确定。
我们的算法需要（近似于）纯平移的相机运动。
很明显，可以认为这是一个很重要的限制，但这种运动很常见，可以在移动机器人应用中考虑，并且可以通过图像对轻松地检测到，特别是在角对应可用时。
此外，考虑到已经计算仿射高度景象，可以通过具有旋转分量的机器人运动来追踪它，以及新的未标记区域进入视场的场景可以通过进一步的平移运动来探测。
在接下来的章节中，我们首先讨论地平面运动（因此是单应性）恢复，同时给出地平面分割。
然后我们展示如何使用恢复的单应测量仿射高度。
2.地平面分割和地平面运动的单应性恢复
开发共面关系的早期工作由Tsai和Huang[1]，Longuet-Higgins[7]，Faugeras和Lustman[10]提出。
我们总结共面关系如下：
如果场景中的一组特征点位于一个平面内，并且它们是以两个视点成像的，那么两幅图像中的对应点通过平面单应性H，使得λxj=Hxi，其中x表示均匀图像坐标（x，y，1）T，H是代表单应矩阵的3×3矩阵，λ是标量。
由于这个方程在比例因子下是有效的，所以H只有8个自由度。
假设移动机器人（并因此摄像机）试图做纯平移运动。
由于地平面不平整，以及机器人的机械装置存在滞后现象，因此运动不可能是纯粹的平移。
然而，如果平移相对于平移中的旋转相对较小，假设纯粹平移和强制单应性相应的纯平移允许使用基于技术的相关性。
这里的关键是，这允许具有局部强度/颜色变化的所有地平面像素被用于同时估计地平面单应性和地平面像素的分组。
在纯粹的平移下，不一定平行于平面，平面单应性通常被称为平面同源性[16]，它具有五个自由度（dof）并采取如下形式
其中xf=[xf，yf，1]T是两个帧的延伸焦点（FOE），lv=[av，bv，1]T是平面的消失线（或水平线），k是一个标量与平移的幅度有关。
首先，通过将图像对中的所有角相关性定义的所有线相交叉，我们检查是否检测到（近似于）纯粹的平移。
如果大多数位于一个小区域（95％的交叉点应位于小半径的圆内），然后假设平移，并使用随机样本一致性（RANSAC[13]）和最小二乘法（LS）计算FOE。
一旦合成了FOE，我们就移动图像坐标，使每幅图像都以FOE为中心。
因此我们应用平移中心Tc，如下所示
在这个平移之后，FOE处于齐次坐标xf=[0,0,1]T，并且消失线变为lv=T-cTlv=[av，bv，xTflv]T。
因此，FOE中心坐标中的单应相关点是H=I-kxflTv，并将其代入方程λx2=Hx1并扩展出
其中q=xTflv。
我们注意到，对于平行于地平面的平移，q=0，因为FOE位于消失线上。
在这种专业化中，单应性有四个自由度，有时被称为恰到好处[16]。
否则，FOE距消失线的距离为d=q/a2v+bv2。
为了简化符号，我们现在放弃（3）和（3）中的角分符号假定（x，y）是相对于FOE进行的图像测量。
因此，我们有
整理等式两侧并相加
如果我们将ri定义为第i帧中图像点与FOE之间的欧几里德距离，则取（5）的平方根，
其中α是以FOE为中心的帧中的像素的角度位置。
现在消失线的斜率为tanαv=-av/bv，所以
因此
其中
因此，我们得到定义角度α，s（α）的函数的关键等式是
其中，我们定义ρ=1/r。
方程（10）表明我们需要找到三个常数（kq，kp，αv）以获取单应性，并且应该在（ρ，α）图像空间中实现计算。
（请注意，平面同源有五个自由度，但在FOE计算中已经恢复了两个自由度）。
我们称I（ρ，α）为互倒极性（RP）图像空间。
因此，在计算FOE之后，使用插值过程为图像对中的每个图像生成（可能缩放的）RP图像。
对于平行于平移方向（包括地平面）的一组平面，由于q的期望值为零，因此kq的期望值将为1。
对于某些应用（硬平地板，硬机器人车轮），假设kq是一致的，就像我们所做的那样。
在其他应用中，估计此值可能更可取，但任何估计值可能非常接近1。
对于图像1中的每个像素，计算其在RP图像空间中的位置，并且沿着ρ维度在该位置周围创建一维窗口。
然后，我们将这个窗口与RP图像2中的ρ差值相关联，其值α相同。
相关性最大值的位置保留为si（α）的值。
等式（10）表示重要的结果：
RP图像空间中的共面运动位于正弦曲线上，并且可以通过将正弦曲线拟合到RP运动数据s（α）来恢复常数（kp，αv）。
假设我们有两个角度αi，j测量的s，si，j值，那么
因此
结合
tanαv并整理出
因此，对于属于同一平面的像素，在不同角度位置处的一对s值允许我们估计该平面的消失线的定位。
给定相位角αv，对应于消失线的方向，我们可以从（11）计算kp。
通过选择随机角度对αi，jj并计算si和sj所在的正弦曲线的相关幅度和相位，可以使用随机样本一致性（RANSAC）程序[13]来确定s（α）数据转换为假定的正弦曲线。
这个假定的正弦曲线用于初始化一个迭代过程，过程中正弦曲线参数的LS估计值和相关联的内点集被计算，直到由二进制标记串表示的内点分布稳定或者迭代的最大数目达到。
以这种方式，共面像素可以被分组而没有明确构造单应性矩阵。
现在，令
其中m=kpcosαv=-kbv，n=kpsinαv=-kav.因此，对于正弦模型的内点，我们可以写出
我们使用奇异值分解（SVD）来求解λ[m，n，1]T并将解归一化以获得参数（m，n）。
从（3）中，我们用n=-kav，m=-kbv和kq=1-kq来替换FOE中心帧中的单应性。
定义s（α）的参数可以计算为kp=（m2+n2），αv=tan-1（-n/m），并且原始图像帧中的单应性可以计算为H=T-1cHTc.
我们如何知道已恢复的单应性和分组像素与地平面相关联？
关于摄像机相对于地平面姿态的弱假设表明，正弦波相位应接近零（接近水平消失线）。
另外，由于平移与平面大致平行，所以FOE应该非常靠近消失线。
为了测试我们是否可以恢复由分析提出的正弦模型，假设kq=1并且有两个帧在机器人移动到平移模式之前和之后被捕获。
然后使用插值过程转换图像（这可能是一种简单的线性插值或基于三次样条）到RP（ρ，α）形式。
图1a显示其中一个原始图像具有16个像素的FOE在其图像的顶部中心边缘之上。
它的RP变换是在图1b显示了垂直方向上的角（α）轴线和恒定（倒数）半径线。
轴线表示与FOE（ρ）的（缩放）相互距离和相互的径向线（恒定角度）处于水平方向。
为了更直观的观看，水平RP图像的渲染使得r从左侧增加到右侧，因此ρ从右向左增加。
在RP图像的渲染过程中，FOE出现在无穷远处图片。
为了有用地限制RP的大小图像中，距离FOE小于64像素的任何像素都不在RP图中。
无论如何，FOE附近的移动是非常小，以至于无法在这个图像区域内做出准确的高度测量。
在执行细节方面，我们使用VGA尺寸的图像（640×480）作为原始图像，并且生成了RP图像，由于像素压缩而没有信息损失。
图1（a）表示原始图像I（x，y），（b）表示对应的RP图像I（ρ，α）。
对于原始图像中的每个像素（像对中的第二个像素），我们在RP空间中找到它的位置，并且通过在第一个RP图像中的常数α的线（即水平线）相关来找到最大相关值对。
（我们将第二个映射到第一个，而不是反之亦然，这是由于视野的限制。
）相关性的最大值保留为s（α）的值。
在RP图像中使用64像素的相关窗口大小，具有150像素的搜索窗口。
由于图1a所示的地毯纤维的高频重复结构，在相关过程中往往会产生许多局部最大值。
但是，由于空间频率的低频成分，在大多数情况下，全局最大值对应于我们希望恢复的正确图像运动。
虽然情况并非如此，如果这些强的局部最大值与提取的平面运动一致，即它们与所提取的正弦模型足够接近，那么可以包括具有显着局部最大值的像素。
图2a显示了所有像素的s（α）对α的图。
与地平面相对应的那些像素运动可以清楚地看到位于正弦曲线上，并且地平面像素可以被划分为这个正弦曲线的内点并用于计算地平面单应性。
然后将恢复的正弦曲线的内点绘制在图2b中的3D中，其中第三维表示ρ。
这表明，正如预期的那样，相同的正弦形式捕获RP空间中的图像运动，而不管像素与FOE的距离如何。
3.仿射高程的测量
上述方法允许将像素分类为属于地平面或不属于地平面。
对于那些非地平面地区，我们想知道我们是否可以在它们之上/之下驱动，或者它们是否构成应该避免的障碍的一部分。
我们现在开发一种仿射高度测量方法，以参考地平面上方摄像机光学中心的高度为基准。
我们的目标是当机器人经历纯粹的（向前）平移t（并且因此场景点将t个单元向机器人平移）时，恢复图3中所示的特征点A的高度。
点A是平移前特征点相对于摄像机的实际位置，点C是平移后特征点的位置。
点A和C是这些实际特征位置在地平面上的投影。
如果特征点位于地平面，则点a和c分别是位置A和C处特征点的图像位置，b是特征点的预测图像位置。
图像点b是由地平面引起的恢复的单应性计算为b=Ha。
参照图3，特征点相对于相机光学中心的高度，仿射高度，是
使用相似的三角形，并将点x和y之间的距离表示为d（x，y），我们注意到
对于纯粹的平移，d（A，C）=d（A’，B’），所以
现在，四个图像点（a，b，c，xf）（其中xf是延伸角度（FOE））和相应的四个地平面点（A1，B2，C3，∞）是共线的。
这组点的交叉比率在投影下保持不变，所以我们可以写出
因此，对于消失线以下的特征，我们可以计算仿射高度
图2：
（a）RP空间中的所有图像运动。
（b）RP空间中的地平面图像运动用ρ明确标出。
图3：
测量A点的高度
总的来说，我们得到
其中对于消失线以下的特征，μ=-1，对于消失线以上的特征，μ=+1。
（显然消失线上的特征ha=1）。
这可以被解释为以高度hc为单位的点A的高度。
请注意，此方法只需要地平面单应性H和图像对应的特征a和c来确定地平面以上的高度。
通过在飞机上方测量高度的阈值，该方法可以用于检查可以跃过的区域以及可以钻过的足够高的特征。
请注意，这是在没有相机校准的情况下实现
4.实验结果
4.1.地平面像素分组的地平面分割
在图4所示的两个实验中，随着机器人向前移动，地平面逐像素分割。
在RP图像空间中适合地平面正弦信号的那些像素被保留并绘制为地平面像素，从图像中除去所有其他像素（呈现为零强度，或黑色）。
将片段与原始图像进行比较，可以看出，逐像素分组给出了精确的地平面分割。
例如，第一个序列中右侧的黑色小门非常清楚，正确地排除。
另外，第二序列中左侧的门脚底部的一小块地毯清晰直接地包含在内。
还要注意，提取的FOE在两个序列和地平面的消失线中都显示为小圆，其方向被提取为RP正弦曲线也显示为接近水平线（接近零正弦曲线相位）。
4.2．高度测量实验
进行两个实验（一个室内，一个室外）来验证用于测量高度的投影构造。
在这两个实验中，由于两个VGA帧（640×480分辨率）在平行于接地平面的平移方向上被捕获，所以q=0并且等价地kq=1被假定。
在两种情况下，使用高度A-B作为参考高度，以正确地将仿射（相对）高度测量值缩放到欧几里德（绝对）高度测量值。
对于室内实验，我们计算了van-ishing线的方向为tanαv=0，而对于室外实验，我们计算了tanαv=-0.03。
结果显示在图5和表1中，其中“TM”是手动（卷尺）测量值，“VM”是我们的自动高度测量方法的结果。
我们发现平均绝对误差为6.9毫米，平均相对误差为0.35％。
如果我们删除两个相当不准确的测量值（a）EF和（a）PQ，其余测量值的平均绝对误差为1.5mm，平均相对误差为0.1％。
图4：
显示地平面分割的图像序列。
（a）图像序列1.（b）图像序列2。
表1：
以厘米为单位的高度测量结果
图5：
（a）室内高度测量实验，和（b）室外高度测量实验
图6：
（a）原始图像。
（b）使用恢复的FOE匹配边界。
4.3．使用光滑区域的高度轮廓来分割地平面
本文提出的最终实验使用拟合拟合过程（同时恢复地平面的纹理区域和相关的地平面单应性）和仿射高度测量方法来确定非纹理区域的轮廓是属于地平面还是不属于。
请注意，需要一个额外的过程，本文没有描述，这是一个四叉树分割合并区域分割算法，其提取色彩纹理的均匀区域。
无纹理的指令不能被分类为地平面或非圆地平面，因为它们无法在图像对之间进行匹配。
然而，它们的界限可以是，并且在纯粹的平移的情况下，这很容易通过投射来自在单应性估计过程中恢复的FOE的射线来完成。
图6a显示了在地板上具有几乎没有纹理的两个区域的图像。
首先是一张圆形的白纸，可以越过，另一张是小纸板箱，不能。
图6b显示了提取的边界和用来投射射线的FOE，以匹配相应边界之间的交点。
用于
测量仿射高度的交叉比例结构应用于对应关系，因此当我们“绕过”与两个低纹理区域相关的封闭轮廓时，可以提取高度轮廓。
如果高度轮廓保持接近零，则该区域可以被分类为属于地平面，如图7a中所示。
否则，它被分类为障碍物，如图7b所示。
图8中的最终图像显示了提取的地面区域的两个帧，其中纹理地毯已逐个像素地分类，并且由于其边界的高度轮廓已包括无纹理白纸区域。
显然，这可以通过确定极坐标空间中的轮廓运动是否接近定义单应矩阵的提取的正弦曲线来完成，但是这并不能给出关于高度的任何定量信息，如果我们想允许与机器人轮直径相比，机器人可以钻过小高度的障碍物。
图7：
（a）共面白纸的高度剖面图。
（b）小箱子的高度轮廓。
图8：
提取的地平面的两个帧。
（a）白纸的高度轮廓。
（b）小箱子的高度轮廓。
5．结论
我们已经描述了一种方法，该方法允许移动机器人的地平面被分割，并且通过用平移动作来探测环境构建仿射高度景象。
一个关键的问题是，所有地平面像素在强度/颜色上都有一些局部变化，可以用来对地平面单应计算做出贡献，而且我们可以在像素级上将（变换后的）图像分类为地平面或非地平面。
算法使用一维相关和拟合的稳健LS拟合结果数据来同时恢复地平面单应矩阵并对像素进行分类。
结果证实了正弦模型和仿射高度测量程序的有效性。
如果某些特征类型具有某些局部颜色强度变化，则该方法可用于一系列特征类型，包括角点，边缘，区域边界甚至原始像素。
参考文献
[1]R.Tsai和T.Huang，“估计一个刚性平面贴片的三维运动参数，”IEEETrime.Acoust.,语音，信号处理，第29卷，第6期，第1147页-第1152,1981页。
[2]D.Coombs，M.Herman，T.-H.Hong和M.Nashman，“使用中心流发散和周边流动的实时避障”IEEETrac。
机器人。
自动售货机，第14卷，第1期，第49页-第59,1998页。
[3]J.SantosVictor、G.Sandini、F.Curotto和S.Garibaldi，“自主导航中的发散立体声：
从蜜蜂到机器人”，《国际计算机视觉杂志》，第14卷，第2期，第159页-第177,1995页。
[4]I.D瑞德和A.Zisserman，“目标导向视频计量”。
欧洲计算机视觉会议（ECRV’96），R.Cipolla和B.Buxton，Eds.，第2卷，第647页-第658页，剑桥，英国，1996年4月。
[5]R.Okada，Y.Taniguchi，K.Furukawa，K.Onoguchi，“使用投影不变和消失线的障碍检测”。
IEEE第九计算机视觉国际会议（ICCV’03），第330页-第337页，Nice，法国，2003年10月。
[6]A.Criminisi、I.D.Reid和A.Zisserman，《单视图计量学》，国际计算机视觉杂志，第40卷，第2期，第123页-第148,2000页。
[7]H.C.LangGue希金斯，“从两个透视投影重建平面表面，”伦敦皇家学会学报B，第227卷，第399页-第410,1986页。
[8]C.Tomasi和T.Kanade，“正字法下的图像流的形状和运动：
因式分解法”，《国际计算机视觉杂志》，第9卷，第2期，第137页-第1541992页。
[9]B.Triggs：
“投影结构和运动的分解方法”。
IEEE计算机学会会议，移动机器人视觉导航使用多特征2259计算机视觉和模式识别（CVPR’96），pp.845-851，三藩，Calif，美国，1996年6月。
[10]O.Faugeras和F.Lustman，“在分段平面环境中运动的运动和结构”，国际模式识别和人工智能杂志，第2卷，第
升级会员 