kinect外文文献翻译.docx

kinect外文文献翻译.docx

《kinect外文文献翻译.docx》由会员分享，可在线阅读，更多相关《kinect外文文献翻译.docx（18页珍藏版）》请在冰豆网上搜索。

kinect外文文献翻译

3D与Kinect

扬斯米谢克，米哈尔Jancosek和TomasPajdla控制论，费用，在布拉格捷克技术大学的CMP

摘要

我们分析的Kinect作为3D测量设备，实验调查深度测量分辨率和误差性能和使超高动力学的定量比较精度立体声重建从单反相机和一个3D-TOF相机。

我们提出的Kinect几何模型和它的校准程序提供精确的校准Kinect的3D测量和Kinect摄像头。

我们通过整合演示的Kinect校准的功能它变成一个SFM管道，其中三维测量从运动的Kinect被变换成一个共同的坐标系统通过从比赛计算相对姿态

彩色摄像机。

1.简介

Kinect正成为一个重要的三维传感器。

它接收了大量的关注表示感谢，以人迅速对构成三维测量上开发识别系统。

测量的成本低，可靠性承诺使Kinect的主要3D测量室内机器人，三维场景重建设备，和物体识别。

在本文中，我们提供的几何分析Kinect的，设计它的几何模型，提出了一个校准过程，并展示其性能。

方法建模Kinect的几何形状，从而出现近日，为了解一个良好的基础传感器。

主要有以下几种最相关的作品。

文献结合OpenCV的摄像机标定用Kinect的逆差距的计量模型来获得基本Kinect的校准程序。

他没有学习Kinect的传感器的特定功能，并没有纠正他们。

几乎相同的程序实施活性氧，其中该红外线之间的表观位移和深度图像被校正。

这种做法的另一个变化出现在，其中的OpenCV校准替换通过Bouguet的校准工具箱。

我们建立在以前的工作之上，并设计了一个精确的校准程序的基础上考虑的几何模型，以及作为一个额外的校正程序会计“学习”对于剩下的非建模误差。

我们使用全相机型号和他们的校准程序为实现在，超高动力学逆视差之间的关系和深度如，正确深度和红外图像位移如，并添加其他校正训练有素的校准板的例子。

我们证明该校准超高动力学可以与结构相结合运动来获得三维数据一致的坐标系中，允许通过多视角来构建观测到的景物的表面立体声。

我们的对比表明，Kinect是优越在精度SwissRangerSR-40003D-TOF相机接近中等分辨率单反立体声钻机。

我们的研究结果是根据[10]其中兼容观测关于Kinect的深度量化被提及。

图1.Kinect的由红外（IR）投影仪，红外照相机和RGB摄像头。

图2.Kinect的两尼康D60单反相机钻机。

2.作为Kinect的三维测量装置

Kinect是由一个红外投影仪的复合设备一图案和IR照相机，其用于三角测量点在太空中。

它可以作为一个深度摄像头，以及一颜色（RGB）相机，它可以用来识别图像内容和纹理的3D点，图1作为测定装置，超高动力学提供三种输出：

红外图像，RGB图像，以及（逆向）深度图像。

2.1红外图像

IR（1280×1024像素的57×45度视场，6.1mm焦距长，5.2μm像素大小）摄像头是用来观察和解码红外投射图案三角3D场景。

如果由卤素灯[16，19]，同时提供适当的照明红外投影受阻，如图7（c，d）中，它可以可靠地校正由[2]使用用于相同的棋盘图案在RGB摄像头。

相机表现出不可忽略的径向和切向变形，标签2。

2.2RGB图像

RGB（1280×1024像素的63×50度视场，2.9毫米焦距，2.8μm像素大小）相机提供介质质量的图像。

它可以由[2]进行校准和用于跟踪由SFM系统，例如照相机运动[17，7]。

2.3深度图像

超高动力学的主要原料输出是对应的图像到的深度在场景中。

而不是提供实际深度z，Kinect的返回“逆深度”d图。

图3（a）。

考虑到深度分辨率达到的Kinect的（部分2.4），我们通过模型等式。

5建议在[3]。

深度图像是通过三角测量构造从红外图像和投影，因此它是由IR图象，等式“携带”。

5。

2.4深度解析

图3（b，c）表示深度分辨率的函数距离。

深度决议通过移动测量Kinect的距离（0.5米，15米）从平面靶足够精心录制返回所有值约5◦视图围绕图像中心领域。

量化步骤q的大小，也就是距离两个连续的记录值之间，被发现是深度z的以下函数：

q（z）=2.73z2+0.74z−0.58[mm].

（1）

以Z米。

q中开始，RESP值。

的操作范围在末端，分别为q（0.50m）=0.65mm,resp.q（15.7m）=685mm.

（a）Kinect逆深度作为实际深度的函数。

（b）深入Kinect的量化步长Q（0-15米）。

（c）Kinect的深度量化步长（0-5米细节）。

2.5红外图像和深度图像之间切换

发现IR和深度图像被移位。

为了确定移位[U0，V0]？

几个不同的目标被捕获红外和深度图像，图。

图4（a）。

对比目标从背景和分割出移是通过使分割的形状在确定最好对准，图图4（b）。

几个实验对象不同结果形状如表1所示。

1.移估计为平均值在所有实验。

我们的结果表明，在深度使用尺寸的相关窗口7×7像素计算处理。

这是接近9×9的窗口大小估计在[11]。

（a）对准前（b）对准后

图4.红外深度图像移位和校正。

一个目标的红外图像显示为黑色。

的深度图像目标是通过其白边表示。

表1.红外深度摄像头像素位置偏移。

3.Kinect的几何模型

我们建模的Kinect作为由多视图系统RGB，红外和深度摄像头。

RGB的几何模型和红外摄像机，其投射一个三维点X为图像点[U，V]?

由[2]给出的失真参数K=[K1，K2，。

。

。

，K5]，摄像机标定矩阵K，旋转R和摄像机中心C[6]。

图5.Kinect的几何模型。

超高动力学的深度相机相关联的几何红外相机。

它返回逆深度d沿z轴，图5，对每个像素[U，V]的红外摄像机作为

其中，U，V是由方程给出。

3，真正的深度z由公式。

4，[U0，V0]按Tab键。

1，X代表一个3D的三维坐标点，以及C1和C0是模型的参数。

我们联想Kinect的坐标系与红外相机，因此得到RIR=我和CIR=03D点XIR构造从测量[X，Y，D]在深度图像通过

并投射到RGB图像作为

其中，存款保险计划是由等式给出的失真函数。

3，基里巴斯，kRGB是红外的各自失真参数和RGB摄像头，KIR是红外摄像机标定矩阵KRGB，RRGB，CRGB是校准矩阵，所述旋转矩阵和中心将RGB摄像头。

4.Kinect的标定

我们校正[2]Kinect的摄像头一起通过展示相同的校准目标到IR和RGB照相机，图7（c）。

以这种方式，两个照相机被校准w.r.t.该相同的3D点和相机WRT的因此姿势点可以链接给他们的相对姿态，图8.以直角坐标红外相机作为系统Kinect的全球坐标系，使相机相对造成等于RRGB，CRGB。

标签。

2，第3显示内部参数和图图6显示效果在摄像机的扭曲。

我们包括切线畸变，因为它的非忽略增加了整体三维测量的精度。

图。

图7（a）示出了该IR图像在正常运行的Kinect标定板当它是由其IR发射照亮。

更好的图像是通过阻断红外投影仪和照明获得由卤素灯图偏出。

图7（b）。

图6.既Kinect的摄像头预估失真的影响。

红色数字表示的尺寸和箭头的方向像素位移引起的透镜失真。

交叉显示图像中心的圆的主点的位置。

图7.在IR，RGB和深度图像的校准板。

参数C0，深度相机的C1被校准如下。

我们得到了N次测量，正从深度图像全部校准点，图7（d）。

笛卡尔坐标相同XIRi校准点测量在IR笛卡尔系统通过交叉投影点进去红外图像的光线用最好的平面装配到重建的校准点。

参数C0，C1进行了优化，以最合适的XDI到使用等式6。

表2.Kinect的红外摄像机内部参数。

表3.Kinect的摄像头RGB内部参数。

图8.位置和Kinect的IR和RGB摄像头的方向

与单反一对立体声（左，右）与3D完全校准重建在平面校准目标点。

图9.平面残差拟合出的固定模式噪声

从不同的距离的深度图象。

表4.评价的z修正。

的标准偏差

平面的残差拟合到平面目标的测量已经减少。

4.1学习复杂的剩余误差

它已经观察到超高动力学校准与上述程序仍然呈现小而相对复杂的残余错误近距离测量。

图。

9显示残差平面拟合到校准Kinect的测量后平面靶的跨越视场。

目标已被抓获，从18个不同的距离，从0.7至1.3米，高度相关的残差进行核算。

沿250水平深度图像行残差图10（a）。

残值是一贯的积极中心和负在外围。

为了补偿该残留误差，我们形成z值的Z校正图像构造为所有的残余图像的逐像素平均。

的z校正图像是从z中减去坐标XIR的计算等式所。

6。

为了评估该修正方法，在z校正图像从甚至图像，然后对残差构建施加到奇数（表的第一行。

4）和偶数（第二行选项卡中。

4）深度图像。

的标准偏差残差下降。

施加的z校正Kinect的测量后从在第5.1节，平均所描述的实验的残留误差减少了约0.25毫米，图。

图10（b）。

在4410点的残差进行评价跨越视场。

5.验证

5.1Kinect的，SLRStereo和3DTOF的比较

我们比较的平面靶的测定精度通过Kinect的，单反立体声和3DTOF相机。

Kinect和单反立体声（图像尺寸2304×1536像素）分别为刚性地安装（图2）和校准（图8）在一起。

单反立体声被重建校准点完成由[2]提取并通过线性最小二乘三角三角[6]。

他们测量了同一平面靶中315控制校准点在每个14的目标。

SR-40003DTOF[13]不同的测量平面靶，但在一个可比的距离范围0.9-从1.4米在每个11的88控制校准点传感器校准目标。

误差e，标签。

5，对应于由传感器返回的点之间的欧几里德距离和在校准的过程中重构点的传感器的相机。

单反立体声是最准确的，Kinect的遵循和SR-4000是最准确的。

图10.纠正复杂的剩余误差

表5.单反立体三角对比，Kinect和SR-40003DTOF深度传感。

图11.从超高动力学的RGB摄像机和图像的实施例被用于现场重建了相应深度

5.2结合Kinect和SFM

图11示出的一对1/2分辨率（640×480）的KinectRGB图像和沿途经过的RGB光线的深度图像中的像素通过计算等式。

507.序列RGB-深度图像对已获得的该的RGB相机的姿势已经计算由SFM管道[17，7]。

使用Kinect的标定，真深度图像已经计算并一起注册。

图12（a）表示从得到的3D点重建的表面仅仅通过多视点立体[9]在Kinect的RGB图像。

12（b）表示通过使用所获得的改善加入注册的Kinect3D数据后，同样的方法。

图。

13比较3D表面重建从点云计算飞机清扫[9]70Kinect的通过的表面reconstruciton处理的3D数据[9]（2304×1536像素）。

超高动力学三维数据被登记到一个公共通过SFM坐标系[17，7]应用到Kinect的图像数据。

我们可以看到，多个测量时，被使用，结果与Kinect是相当类似，以更准确的多视图atereo重建。

六结论

我们提供的Kinect3D测量的分析能力和校准程序，允许合并Kinect的与SFM和多视点立体，这将打开用于超高动力学应用的新领域。

有趣的是，观察到在多视点重建的质量，Kinect的overperformedSwissRangerSR-4000和接近3.5米像素单反立体声。

图12.现场重建，从Kinect的摄像头的RGB。

该图为重建质量时的比较场景采用多视点立体和情况下，只有重建当从Kinect的三维数据也是可用的。

图13.Kinect的比较多视图重建

参考文献

[1]D。

Avrahami等。

RGB-D：

技术和用法对于Kinect的深度风格的相机。

HTTP：

//ILS。

intel-

[2]J.Y.Bouguet。

摄像机标定工具箱HTTP//WWWvision.caltech.edu/bouguetj/calib_doc/，2010年1月

[3]N.比吕斯。

Kinect的校准。

HTTP：

//nicolas.burrus.name/index.php/Research/

KinectCalibration。

[4]一Dryanovski，W.莫里斯和S.Magnenat。

Kinect的节点http:

//www.ros.org/wiki/kinect_node，2010。

[5]B.弗里德曼，AShpunt，MMachline和YArieli。

深度以投影的图案绘制，2010年1月

[6]R.哈特利和A.Zisserman。

在多视图几何计算机视觉。

剑桥，第二版，2003年3月

[7]M.Havlena，A鸟居，和T.Pajdla。

从高效的结构由图优化运动。

在ECCV，2010年2月

[8]D.C.埃雷拉，J.Kannala和J.Heikkila。

准确和深度和彩色摄像机实际校准对。

http:

//www.ee.oulu.fi/~dherrera/Kinect的/2011-depth_calibration.pdf，2011年1月

[9]M。

Jancosek和T.Pajdla。

多视图重建preservingpreserving弱支撑面。

2011.6,7

[10]K.Khoshelham。

Kinect的深度数据分析的准确性。

在ISPRS车间激光扫描，体积XXXVIII2011年1月

[11]K.Konolige和P.Mihelich。

技术说明Kinect的标定。

http:

//www.ros.org/wiki/

kinect_calibration/技术，2011年1月

[12]K.莱，L.博，十仁和·福克斯。

稀疏远程教育用于对象识别结合RGB和深度信息。

在机器人上的IEEE国际会议自动化，2011年1月

[13]MESA成像。

SwissRangerSR-4000。

HTTP：

//WWW。

mesa-imaging.ch/，2011年5月

[14]微软。

Kinect的用于XBOX360http:

//www.xbox。

COM/EN-US/Kinect的，2010年1月

[15]J.肖顿，菲茨吉本A.，M.库克，T.夏普，MFinocchio，R.摩尔，AKipman，和A.布雷克。

实时人类姿势识别在零件从一个单一的深度图像。

在CVPR，2011年1月

[16]J。

斯米谢克和T.Pajdla。

3D摄像机标定。

硕士。

论文，捷克介绍技术大学在布拉格，2011年2月

[17]N。

Snavely，S的Seitz，和R.Szeliski。

模拟世界从网上的照片集。

国际杂志

计算机视觉，2007年2月

[18]维基百科。

Kinect的。

http:

//en.wikipedia.org/维基/Kinect的

[19]柳树车库。

ROS-Kinect的标定：

代码完成。

http:

//www.ros.org/news/2010/12/

Kinect的校准码-complete.html，2010年2月

[20]柳树车库。

摄像机标定和三维重建。

HTTP：

//OPENCV。

HTML，2011年6月

[21]柳树车库。

Turtlebot。

HTTP：

//WWW。