双目立体视觉研究及其现状.pdf

双目立体视觉研究及其现状.pdf

《双目立体视觉研究及其现状.pdf》由会员分享，可在线阅读，更多相关《双目立体视觉研究及其现状.pdf（5页珍藏版）》请在冰豆网上搜索。

双目立体视觉研究及其现状安雪娥杨小丽，税奇军（电子科技大学物理电子学院，四川成都610054）摘要：

双目立体视觉是计算机视觉中壤常用的一种铡量方法本文阐述了双目立体视觉有关技术的实现及进展，比如：

图像采集、摄像机标定图像预处理、立体匹配等。

重点研究两个方面的内容：

摄像机标定和立体匹配两个关键技术，并介绍了两个技术目前的发展动态。

最后介绍双且立体视觉的应用领域和发展动态。

关键词职耳立体视觉：

摄像帆标定；畸变；立体匹配ResearchonbinocularstereovisionanditsactualityAnXue-e，YangXiao-li-ShuiQi-jun（PhysicsandElectronicInstitute，UniversityofElectronicSienceandTechnologyofChina，Chengdu610054，China）AbstructBinocularst自visionisusuallymcaanringmethodincomputervisioaThispaperintroducesthere面izafionandactualityoftherelativetechnologyofbinocular日ereovisionForexample：

imagecapturecameracalibration,imagepre-pnx*ssing，剐zreomalghingandsooThemaintwocontentsare：

c枷盯acalibrationBad$tgTcOmatching，andthenlyethepresentationsoftheirdevelopmentAtlast，introducetimapplicationfieldsandactualityofbinoanlarstereovisionK时words：

binocularsvisioncaIcalibration；distortion；stereomatching0。

弓l言双目立体视觉是直接模仿人类和动物眼睛系统而设计的一种立体视觉系统（1m，其主要是根据两个CCD摄像机在不同位置对同一物体进行观察时形成视差，然后利用三角测量原理实理对物体深度的测量，以实现三维重建。

主要包括以下几方面；图像采集；摄像机标定；圉像处理。

摄像机标定是取目立体视觉中关键技术之一；图像处理中包括；图像预处理；特征提取；立体匹配；三维重建；关键技术是匹配问题，这个部分是图像避理中最难的一部分。

1-双日图像采集原理设空间一点P（x。

Y，z）在两十乎行放置的完全相同的摄象机中像点分别是（xl，y1）（：

，y2），则在知道基线长B和焦距f的情况下，可以计算出深度z。

，jL：

，旦。

恐一五。

血这是双目立体视觉的基本原理，即根据视差来恢复立体信息。

2摄像机标定1】162要实现三维重建必须要知道摄缘机的内外参数，求摄像机内外参数的过程就是摄像机标定过程。

摄像机标定是从二维图像中提取三维信息最关键的步骤它直接影响整个体系的测量精度。

21标定原理211摄像机针孔模型翻针孔模型是在不考虑象差情况下的理想成像模型。

在介绍此模型之前先定义四个坐标：

世界坐标系：

O-XYZ用来表示空间任意一点的坐标摄像机坐标系：

o-xyz其坐标原点为摄像机透镜中心，也就是透视中心。

乙轴与光轴平行。

t和儿分别与下面所建图像坐标系的u、V轴平：

i于。

以物理单位表示的像平面坐标系q一柳：

用来表示像点在像平面上的坐标。

其原点为光轴与成像平面的交点。

xy轴分别平行与茸，y，。

以象素为单位的图像坐标系O-11V：

摄像机中的CCD通常制成矩形（752X552），定义此坐标系的原点为图像的左上角。

图像的行为tt坐标轴，图像的列为v坐标轴。

其数学模型可用下式表示：

s嗣=aR，丁】髓

（1）RlT分别为从世界坐标系到摄像机坐标系的旋转、屯1l+研0olr,1。

01警删上式中=+蝣，膏为畸变系数这种畸变模型是关于（而，儿）的非线性模型，在已知（气r咒）求（而，）0）时需要求解非线性方程组但是在吒=xd（1+qq）咒=Ya（I+kzr彳）这种模型在标定中要涉及非线性最小二乘优化算法。

22摄像机标定技术的实现及发展动态摄像机标定就是为了得出摄像机的内、外参数内参数就是跟摄像机内部构造有关系的一些参数，也就是

（1）式中的矩阵A，外参数是和摄像机构造无关，只和摄像机的位置有关，如

（1）式中的旋转矩阵R、平移矩阵z根据标定方法的不同，标定过程也各有不同大致可以分为两类：

摄影测量标定和自标定。

前一种标定方法是一种比较经典的方法标定精度高，典型的如Bai网的两步法。

这种方法先通过线性优化求解部分相机参数，再由迭代求得其余参数。

这种方法能有效提升运算速度，减少了选代次数，更重要的是，由于第一步的线性优化，第二步的迭代总能求得理想解这种方法提出了重要的一种约束方法：

径向对准约束（RAc）所谓RAC约束就是指由于径向畸变的存在使得实际成像点（屯，乃）同理想成像点（毛，咒）之间的关系是长度不等，但其正负号完全相同，也就是在同一象限。

利用RAC约束，可以判断一些参数的符号等问题。

Juyangw砸一更全面的讨论了各种畸变因素对标定精度的影响，也可以说是对Tsai关于畸变的朴充。

这种方法精度高但是比较麻烦，zhag嗍在Tsai的基础上提出一种更简单的方法，这种方法就是一般的非专业人员都可以进行操作，它只需要对摄像机对平面模板在不同位置进行拍摄两次以上，而且摄像机和平面模板可以自由移动不需要固定，建立了摄像机畸变模型，最后利用最大似然解对解析式进行非线性优化Zhangml删最近还提出了一种更简单的方法，就是用一维标定物代替二维平面模板，这种标定物是在一根直棒上穿三个圆球，三个小球的位置为：

两个球位与棒的两端点，第三个小球位于棒的中心。

然后将一个断点的小球固定，直棒另一端绕这点转动在不同的旋转位置拍摄5幅图就可以将摄像机标定。

上面的几种方法可以归为摄影测量法。

还有一种标定方法就是自标定，不需要任何标定物，只是对一十场景或者图片进行多次拍摄（至少三幅）就可以达到标定的目的。

这种方法的实时性比较好，适合于一些无法放标定物的场台。

但是它的标定精度不高，而且要处理大量的冗余方程，一些参数并不是精确给出而只是估计，从而导致了标定精度不是很高。

XlaoqiaoMeng【“疆出一种基于圆环点u21的摄像机自标定方法。

这种方法仅要求摄像机在3个（或3个以上）不同方位摄取一个含有若干直径的圆的图像，就可以线性求解全部摄像机内参数。

该方法原理简单，完全摆脱了匹配问题，也无须知道任何物理度量。

整个标定过程不需要人为的干预。

可以自动进行，非常设和非视觉专业人员使用这种方法精确度较高，鲁棒性较强。

摄像机自标定主要有队下几种：

Kmppa方程约束法，绝对二次曲面法。

模约束法等。

其实大部分自标定都是基于对绝对二次曲面的求解。

咀上两种方法每次只能标定一个摄像机，随着神经网络技术发展的成熟，这种技术已经被引入摄像机标定当中。

应用神经网络可以同时标定两个摄像机有利于实现双目立体视觉真正迭到适时的目标。

3图像处理用上面已标定过的摄像机摄取多幅图像之后要考虐的就是如何处理这些图像以实现三维重建，也就是图像处理的过程。

其主要包括一下几个方面：

图像增强、平滑、边缘锐化、分割、特征抽取、立体匹配。

31图像的预处理图像的预处理主要包括：

图像增强、平滑、边缘锐化、分割等几个部分。

其目的是为了改善图像质量，消除或减】f13少噪声对图像的污染，以及增强对比度，对感兴趣的部分重点显示。

图像的增强用于调整图像的对比度，突出图像中的重要细节，改善视觉质量。

通常采用灰度直方图修改技术进行图像增强。

图像的平滑处理技术即图像的去噪声处理，主要是为了去除实际成像过程中，因成像设备和环境所造成的图像失真，提取有用信息。

众所周知，实际获得的图像在形成、传输、接收和处理的过程中，不可避免地存在着外部干扰和内部干扰，如光电转换过程中敏感元件灵敏度的不均匀性、数字化过程的量化噪声、传输过程中的误差以及人为因素等，均会使图像变质。

因此，去除噪声，恢复原始图像是图像处理中的个重要内容。

图像平滑处理主要是利用滤波器对图像进行处理，对于不同噪声引起的图像变质对应着不同的滤波器。

对图像进行识别的一个重要依据就是轮廓，轮廓清晰的话我们很容易辨认出这个物体，也可以把属于同一物体的边缘检测出来。

所以，我们在预处理的过程中要对圉像进行边缘锐化。

图像分割是将图像分成若干部分，因为图像中包括的象素量是非常大的，不可能对每一个象紊都进行处理，可以通过分割将具有相似性的部分作为一个部分进行处理。

分割的本质就是将像素进行分类。

32立体匹配”2】图像经过上面的预处理，就可以去掉大部分的噪声污染，并且增大了图像的对比度等。

下一步就可以进行同名点的匹配。

对于双目视觉而言，同名点就是世界坐标中的同一点分别在两个摄像机中所成的像点假设世界坐标中的一点P，其在摄像机1中的成像点计为P1，在摄像机2中的成像点计为P2，根据P1找出相应的P2的过程就称为同名点的匹配，在双目视觉中也可以称为立体匹配。

在图像传感器经过标定后，那么三维形体重建的任务在于如何快速、准确、可靠的在左右相片上寻找同名像点。

32】匹配算法分类匹配是立体视觉中最复杂、最重要的环节。

总结起来目前匹配算法可分为基于特征匹配、基于面积匹配和基于相位匹配。

特征匹配主要以零交叉点和梯度为依据，受噪声影响较小但仅能获得稀松的视差，所得结果还需要进行内插；面积匹配可以获得稠密的视差，但主要依据为获度连续性受噪声影响较大，尤其是对交叉摆放的双目CCD立体视觉系统，左右图像灰度变化不一致，核线互不平行，误匹配几率增大；相位匹配一般是针对棱线平行而言虽然将空间域转化为时问域，可同样存在邻域奇异性。

这种方法研究的相对较少到目前为止，还没有一种适台于各种场合的通用的匹配方法。

322匹配算法发展动态【4l最早的M姐-PoggioGms蚰算法以过零点为基元，164采用由粗到精的控制策略，利用连续性约束通过迭代方式实现匹配过程。

这种算法的处理对象是自然景物的双目立体图象。

RNevata-GMedoni算法，以线片段（segnfIents）为基元，以最小差别视差（minimumdiffettntialdispel）为基准，建立匹配过程。

该基准实际上是连续性约柬的一种表