A compact algorithm for rectification of stereo pairs中文版翻译.docx

A compact algorithm for rectification of stereo pairs中文版翻译.docx

《A compact algorithm for rectification of stereo pairs中文版翻译.docx》由会员分享，可在线阅读，更多相关《A compact algorithm for rectification of stereo pairs中文版翻译.docx（23页珍藏版）》请在冰豆网上搜索。

Acompactalgorithmforrectificationofstereopairs中文版翻译

MachineVisionandApplications（2000）12:

16–22

机器视觉与应用（2000）12:

16-22

MachineVisionandApplications

©Springer-Verlag2000

机器视觉与应用

©施普林格出版社2000

AndreaFusiello1,EmanueleTrucco2,AlessandroVerri3

1DipartimentoScientificoeTecnologico,UniversitadiVerona,Ca’Vignal2,StradaLeGrazie,37134Verona,Italy;e-mail:

fusiello@sci.univr.it`

2Heriot-WattUniversity,DepartmentofComputingandElectricalEngineering,Edinburgh,UK

3INFM,DipartimentodiInformaticaeScienzedell’Informazione,UniversitadiGenova,Genova,Italy

Received:

25February1999/Accepted:

2March2000

收稿日期：

1999年2月25日/接受日期：

2000年3月2日

Abstract.Wepresentalinearrectificationalgorithmforgeneral,unconstrainedstereorigs.Thealgorithmtakesthetwoperspectiveprojectionmatricesoftheoriginalcameras,andcomputesapairofrectifyingprojectionmatrices.Itiscompact（22-lineMATLABcode）andeasilyreproducible.Wereporttestsprovingthecorrectbehaviorofourmethod,aswellasthenegligibledecreaseoftheaccuracyof3Dreconstructionperformedfromtherectifiedimagesdirectly.

摘要：

我们在本篇文章中阐述一个用于通用的不加约束的立体视觉设备的线性修正算法。

这个算法输入原始双目视觉相机投影矩阵图像，计算出一对修正投影矩阵。

它是压缩的（22行的MATLAB代码）并且易于复现的。

我们的报告中包含证实这个方法正确工作的测试，和通过直接修正后图像重构3D视觉造成的微小衰减的测试。

Keywords:

Rectification–Stereo–Epipolargeometry

关键字：

校正立体极线几何（译者注：

极线几何校正）

1Introductionandmotivations

1简介和研究动机

Givenapairofstereoimages,rectificationdeterminesatransformationofeachimageplanesuchthatpairsofconjugateepipolarlinesbecomecollinearandparalleltooneoftheimageaxes（usuallythehorizontalone）.Therectifiedimagescanbethoughtofasacquiredbyanewstereorig,obtainedbyrotatingtheoriginalcameras.Theimportantadvantageofrectificationisthatcomputingstereocorrespondences（DhondandAggarwal,1989）ismadesimpler,becausesearchisdonealongthehorizontallinesoftherectifiedimages.

对于一对双目视觉图像，校正被定义为每张图像平面的旋转变换以至于它们的共轭极线成为共线的并且平行于图像的某一个轴（通常是水平轴）。

修正后的图像可以看成由原始摄像机旋转后新的双目摄像机拍摄得到的。

修正的重要优势在于立体视觉的相关性（Dhond和Aggarwal,1989）计算更为简单，因为搜索只在修正图像的水平线上进行。

Weassumethatthestereorigiscalibrated,i.e.,thecameras’internalparameters,mutualpositionandorientationareknown.Thisassumptionisnotstrictlynecessary,butleadstoasimplertechnique.Ontheotherhand,whenreconstructing3Dshapeofobjectsfromdensestereo,calibrationismandatoryinpractice,andcanbeachievedinmanysituationsandbyseveralalgorithms（CaprileandTorre,1990;Robert,1996）

我们假设立体摄像机是标准的，意即相机的内部参数、相互之间的位置和旋转角度是已知的。

这个假定不是严格要求的，但是可以使技术实现更为简单。

另一方面，实际当从密集立体图像中重构3D物体形状时，标准化的摄像机是强制的，而且可以通过在很多种情况中使用几种算法（Caprile和Torre,1990;Robert,1996）获得这些参数。

Correspondenceto:

A.Fusiello

Rectificationisaclassicalproblemofstereovision;however,fewmethodsareavailableinthecomputervisionliterature,toourknowledge.AyacheandLustman（1991）introducedarectificationalgorithm,inwhichamatrixsatisfyinganumberofconstraintsishandcrafted.Thedistinctionbetweennecessaryandarbitraryconstraintsisunclear.Someauthorsreportrectificationunderrestrictiveassumptions;forinstance,PapadimitriouandDennis（1996）assumeaveryrestrictivegeometry（parallelverticalaxesofthecamerareferenceframes）.Recently,HartleyandGupta（1993）,Robertetal.（1997）andHartley（1999）haveintroducedalgorithmswhichperformrectificationgivenaweaklycalibratedstereorig,i.e.,arigforwhichonlypointscorrespondencesbetweenimagesaregiven.

修正是立体视觉中的经典问题，然而我们仅知道很少的几种实现方法。

.AyacheandLustman（1991）介绍了一种手工计算矩阵满足一系列约束的算法。

必要的和随意的约束的区别并不明显。

有一些学者提出约束假设下的修正方案，例如Papadimitriou和Dennis（1996）提出一种十分约束的几何（平行于相机参考平面的垂直轴）。

最近Hartley和Gupta（1993）,Robertetal.（1997）和Hartley（1999）介绍了一种弱标准化立体摄像机即只给出一些点相关的图像的相机的修正方案。

Latestwork,publishedafterthepreparationofthismanuscriptincludesLoopandZhang（1999）,IsgroandTrucco`（1999）andPollefeysetal.（1999）.Someofthisworkalsoconcentratesontheissueofminimizingtherectifiedimagedistortion.Wedonotaddressthisproblem,partiallybecausedistortionislessseverethanintheweaklycalibratedcase.

最近的修正相关的工作，在整理了Loop和Zhang（1999）,Isgro和Trucco`（1999）和Pollefeysetal.（1999）的一些手稿后得以出版。

这些工作中也有些关注最小化修正图像失真的问题。

我们并不致力于这些问题，部分原因是标准设备失真没有弱约束中那么重要。

Thispaperpresentsanovelalgorithmrectifyingacalibratedstereorigofunconstrainedgeometryandmountinggeneralcameras.OurworkimprovesandextendsAyacheandLustman（1991）.Weobtainbasicallythesameresults,butinamorecompactandclearway.Thealgorithmissimpleanddetailed.Moreover,giventheshortageofeasilyreproducible,easilyaccessibleandclearlystatedalgorithms,wehavemadethecodeavailableontheWeb.

本篇论文陈述了一种通用的修正算法用来处理校正过的立体设备得到的未加约束的几何和校准通用相机。

我们的工作提升和扩展了Ayache和Lustman（1991）的工作。

我们基本上得到了相同的结果，但是使用了更为压缩和清晰的方法。

给出的算法是简单和细致的。

更为重要的是解决了原来算法缺乏复现性，易获取和清晰地陈述，代码可以在互联网上获取到。

2Cameramodelandepipolargeometry

2相机模型和极几何

Thissectionrecallsbrieflythemathematicalbackgroundonperspectiveprojectionsnecessaryforourpurposes.FormoredetailsseeFaugeras（1993）.

这一段为我们的目的简单地回顾了透视几何中相关的数学背景知识，可以通过Faugeras（1993）的论文得到更多的细节。

2.1Cameramodel

2.1相机模型

ApinholecameraismodeledbyitsopticalcenterCanditsretinalplane（orimageplane）R.A3DpointWisprojectedintoanimagepointMgivenbytheintersectionofRwiththelinecontainingCandW.ThelinecontainingCandorthogonaltoRiscalledtheopticalaxisanditsintersectionwithRistheprincipalpoint.ThedistancebetweenCandRisthefocallength.

一个针孔相机可以由它的光学中心C和它的视网膜平面（或成像平面）R进行建模。

一个3D点W成像在点M，点M由一条通过点C和点W的直线与R平面相交得到。

包含点C并且垂直于R的直线叫做光轴，光轴与R平面的交点称为投影中心。

点C与像平面R之间的距离称为焦距。

Letw=[xyz]TbethecoordinatesofWintheworldreferenceframe（fixedarbitrarily）andm=[uv]TthecoordinatesofMintheimageplane（pixels）.Themappingfrom3Dcoordinatesto2Dcoordinatesistheperspectiveprojection,whichisrepresentedbyalineartransformationinhomogeneouscoordinates.Let

=[uv1]and

=[xyz1]bethehomogeneouscoordinatesofMandW,respectively;then,theperspectivetransformationisgivenbythematrix

:

w=[xyz]T是点W在世界参考系（任意固定的）中的坐标且m=[uv]T是点M在像平面（像素）中的坐标。

从3D坐标向2D坐标的映射是一个可以用同一坐标系下线性变换表示的透视过程。

假设

=[uv1]和

=[xyz1]是点M和点W各自相同的坐标，那么，透视变换可以由矩阵

给出：

（1）

where

meansequaluptoascalefactor.Thecameraisthereforemodeledbyitsperspectiveprojectionmatrix（henceforthPPM）

whichcanbedecomposed,usingtheQRfactorization,intotheproduct：

这里

意味着等于的情况取决于比例因子。

因此相机可以由透视矩阵

表示，而矩阵

则可以通过QR因式分解为下面的形式：

=A[R|t].

（2）

ThematrixAdependsontheintrinsicparametersonly,andhasthefollowingform:

矩阵A由固有参数决定，并有下面的形式：

（3）

where

=

arethefocallengthsinhorizontalandverticalpixels,respectively（fisthefocallengthinmillimeters,

and

aretheeffectivenumberofpixelspermillimeteralongtheuandvaxes）,

arethecoordinatesoftheprincipalpoint,givenbytheintersectionoftheopticalaxiswiththeretinalplane,andγistheskewfactorthatmodelsnon-orthogonalu−vaxes.

这里

=

分别为水平方向和垂直方向上的焦距（f是用毫米表示的焦距，相关系数

和

分别为u和v轴上每毫米像素数），

是中心点的坐标，中心点即是光轴与像平面的交点，γ是畸变因子用以表征u–v轴的非正交度。

Thecamerapositionandorientation（extrinsicparameters）,areencodedbythe3×3rotationmatrixRandthetranslationvectort,representingtherigidtransformationthatbringsthecamerareferenceframeontotheworldreferenceframe.

LetuswritethePPMas：

相机位置和方向（外部参数）通过3×3旋转矩阵R和转化向量t来表征的，表示把相机参考系转换到世界参考系的刚性变换。

我们把PPM定义为：

.（4）

InCartesiancoordinates,theprojection（Eq.1）writes

在笛卡尔坐标系中，这个映射形式如下：

（5）

ThefocalplaneistheplaneparalleltotheretinalplanethatcontainstheopticalcenterC.ThecoordinatescofCaregivenby

焦平面是平行于像平面并且包含光学中心C，点C的坐标c形式如下：

.（6）

Therefore,

canbewritten:

因此，

可以被写为：

=[Q|−QC].（7）

TheopticalrayassociatedtoanimagepointMisthelineMC,i.e.,thesetof3Dpoints

.Inparametric

form:

与点M相关的光线是直线MC即一系列满足

3D点集合。

参数形式如下：

λ∈R.（8）

Fig.1.Epipolargeometry.TheepipoleofthefirstcameraEistheprojectionoftheopticalcenterC2ofthesecondcamera（andviceversa）

图1极线几何第一相机E的核点事第二相机光学中心C2的映射（以此类推）

2.2Epipolargeometry

2.2极线几何

Letusconsiderastereorigcomposedbytwopinholecameras（Fig.1）.LetC1andC2betheopticalcentersoftheleftandrightcameras,respectively.A3DpointWisprojectedontobothimageplanes,topointsM1andM2,whichconstituteaconjugatepair.GivenapointM1intheleftimageplane,itsconjugatepointintherightimageisconstrainedtolieonalinecalledtheepipolarline（ofM1）.SinceM1maybetheprojectionofanarbitrarypointonitsopticalray,theepipolarlineistheprojectionthroughC2oftheoptical

rayofM1.Alltheepipolarlinesinoneimageplanepassthroughacommonpoint（E1andE2,respectively）calledtheepipole,whichistheprojectionoftheopticalcenteroftheothercamera.

考虑到由两个相机构成的立体仪器（图1）。

C1和C2分别是是左右两个相机的光学中心。

一个3D点W被投影到两个像平面上构成一对共轭点的M1和M2。

左图像平面中任意点M1在右图像平面中的共轭点地位置被限制在一条被称为极线（M1的）的直线上。

因为M1可以是任意一点在光轴上的投影，极线则是点M1光线过C2的投影。

某一像平面中的所有极线都过一个共同点（分别为E1和E2），它们是另一个相机光学中心的投影。

WhenC1isinthefocalplaneoftherightcamera,therightepipoleisatinfinity,andtheepipolarlinesformabundleofparallellinesintherightimage.Averyspecialcaseiswhenbothepipolesareatinfinity,thathappenswhenthelineC1C2（thebaseline）iscontainedinbothfocalplanes,i.e.,theretinalplanesareparalleltothebaseline.Epipolarlines,then,formabundleofparallellinesinbothimages.Anypairofimagescanbetransformedsothatepipolarlinesareparallelandhorizontalineachimage.Thisprocedureiscalledrectification.

当C1在右相机的焦平面上时，右核点就在无穷处，一系列相平行的右极线在右图像中，一种非常特殊的情况是当线C1C2（基线）包含在两个相机的焦平面上时，即像平面平行于基线时，两个核点都在无穷远处。

极线都是一