基于双目立体视觉的障碍物检测方法.docx

基于双目立体视觉的障碍物检测方法.docx

《基于双目立体视觉的障碍物检测方法.docx》由会员分享，可在线阅读，更多相关《基于双目立体视觉的障碍物检测方法.docx（6页珍藏版）》请在冰豆网上搜索。

基于双目立体视觉的障碍物检测方法

基于双目立体视觉的障碍物检测方法

摘要：

提出了一种基于双目视觉的V视差图障碍物检测算法。

根据生成的视差图进一步生成V-视差图，提取V-视差图中的直线信息，通过这些直线信息可以锁定障碍物存在的大致区域，进而检测障碍物。

该算法对于光照、阴影等干扰不敏感，可以检测具有面特征的障碍物，适用于复杂背景下的障碍物检测。

　　关键词：

障碍物检测；双目视觉；立体视觉；V-视差

　　0引言

　　目前基于计算机视觉的障碍物检测算法主要分为两个大方向：

基于单目视觉的障碍物检测和基于双目立体视觉的障碍物检测。

由于基于立体视觉的检测方法无需先验知识，对阴影、光照、反光等天气变化造成的背景变化不敏感，能给出障碍物的距离信息，可靠性高，并且在多个目

　　标发生部分遮挡时仍能正确区分各运动目标。

基于立体视觉的检测方法有很大的应用前景。

　　基于双目立体视觉的障碍物检测算法主要有如下几种：

①逆透视投影法（IPM）检测障碍物。

在道路平面假设下，根据逆透视投影原理（IPM），通过计算两个俯视图的差分检测任何突起于路面的物体。

②DisparitySpaceImage法检测障碍物。

该算法假设车辆静止时的俯仰角（pitch）相对于水平面是零，而当车运动时，车会随着路面的起伏而震动，pitch角将不再是零了，这时所获图像，相对于车静止时的所获图像，会产生垂直方向上的差异。

文献［3］给出了一种用来获取不同时刻的pitch角的方法，并利用立体视觉区域相关法检测障碍物。

以上提到的方法对阴影、光照、反光等天气变化造成的背景变化很敏感；有些在分析中还要一些不切实际的假设，例如：

假设路面保持水平、假设车型满足某种条件等。

　　本文引进了一种V-视差法检测障碍物。

首先，对采集到的图片通过图像分割的方法来构建视差图。

在视差图中，沿图像坐标系中的V坐标轴方向（纵坐标）由上至下逐行扫描，累加具有相同视差值的像素点的个数，由此建立了V方向上的视差图。

通常，在V视差图中代表障碍物的直线一般是竖直的，因此可以通过从V方向视差图中提取出一些直线信息将障碍物从背景中提取出来。

在整个算法中不需要路面水平的假设，同时V-视差法能够检测具有面特征的物体，对于小面积的局部干扰不敏感，也无需保证轮廓边缘的完整性。

　　1双目摄像机模型

　　在本文中，双目摄像机的位置假设满足如图1所示的位置关系。

两个摄像机的像平面位于同一平面、同一高度并且是平行的，以获得较理想的平行光轴模型。

此时，这样就减少了立体匹配的搜索范围。

　　图1中的部分参数说明如下：

θ表示摄像机光轴与水平轴的夹角，h表示摄像机到地面的距离，b表示两个摄像机之间的距离（基线）。

　　2视差图的生成

　　文采用了文献［5］中所提及的基于图像分割的计算视差图的方法，在这算法基础上，将测试图片改为现实生活中的场景。

实际环境中立体图像对在拍摄过程中由于受到相机本身的误差，光线的明暗，复杂的背景影响而变得难以得到较理想的视差图。

本文结合实际经验和对图片的预处理，最终得到了较好的结果。

　　3V-视差图的构造

　　视差图内包含三维信息，在此基础上累加视差图像每一行上具有相同水平视差的像素个数countp，并以（ΔP,vl）为新的像素坐标，以countp为对应于该像素的灰度值，这样就形成了V-视差图。

用数学符号语言描述如下：

令H为以IΔ为变量的功能函数，即满足H（IΔ）=IvΔ。

指定IΔ中一行i，H函数累加该行中具有相同视差的点的个数。

在IvΔ中，对于给定的一行i，一点M的横坐标是视差值ΔM，它的灰度值为：

在IΔ，行i中，与ΔM值相等的点的个数iM，iM=∑p∈IΔδvp,iδΔp,ΔM，δi,j为Kroneckerdelta（克罗内克尔符号），即：

设I为集合，I×I的对角线之特征函数称为克罗内克尔符号，并记为δ。

习惯上将这个映射视为通过集合I×I确定下标的族，于是：

如果i≠j，δij=0；如果i=j，δij=1。

　　4障碍物检测

　　V-视差图像的计算是为了将原图像中的平面投影成一条直线，对于障碍物检测来说，路面以及障碍物均可以被投影成一条斜线和与斜线垂直的直线段。

换个角度理解，三维目标在二维图像中被投影成平面，而经过V-视差图像的计算后，又将平面投影成线段，障碍物的检测由平面检测转化为线段检测。

通过引入直线检测算法提取V视差图像中线段，即可确定路面和障碍物面在图像中的准确位置，而且路面和障碍物的交点即为障碍物的触地点。

　　利用Hough变换检测直线算法提取出V-视差图中的直线，由两线的交点可以得到障碍物的触地点。

垂直的直线段的高度代表障碍物的高度。

而宽度可以通过U视差法方法得到，U-视差的计算同V-视差的计算过程一样，唯一的区别在于V-视差是对V方向累加相同象素值的个数，而U-视差是对U方向累加视差图像每一列上具有相同视差的像素个数countp，并以（ul,ΔP）为新的像素坐标，以countp为对应于该像素的灰度值。

　　U-V视差结合识别目标如图6所示，以图中的圆球位置提取为例，圆球的水平位置可以通过U-视差图得到，圆球的纵向位置可以通过V-视差图得到，结合两个视差图就可以在待检测的目标图像中准确提取圆球的空间位置。

本文采用此方法检测障碍物，结果如图7中绿框所示。

　　5结束语

　　本文重点研究了基于V-视差障碍物检测算法。

首先基于视差图生成V-视差图，利用Hough变换检测V-视差图中的直线，从而确定障碍物与地面的接触点及障碍物的高度，再对视差图做U-视差，确定障碍物的宽度，进而锁定障碍物区域。

整个算法中不需要路面水平的假设，在检测车辆前方障碍物时无需先验知识，对阴影、光照、反光等天气变化造成的背景变化不敏感，检测对象为一切具有面特征的物体。

对于小面积的局部干扰不敏感，也无需保证轮廓边缘的完整性。

　　参考文献：

　　[1]BERTOZZIM,BROGGIA.GOLD:

Aparallelreal-timestereovisionsystemforgenericobstacleandlanedetection［J］.IEEETransactionsonImageProcessing,1998

（1）.

　　［2］BROGGIA.ObstacleDetectionwithStereoVisionforOff-RoadVehicleNavigation［C］.Proceedingsofthe2005IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,2005.

［3］FRANKEU,JOOSA.Real-TimeStereoVisionforUrbanTrafficSceneUnderstanding［C］.IntelligentVehiclesSymposium,2000.

　　［4］LABAYRADER,AUBERTD,TARELJP.Realtimeobstacledetectioninstereovisiononnonflatrodegeometrythrough“V-disparity”representation［J］.IntelligentVehicleSymposium,IEEE,2002

（1）.

　　［5］BLEYERM,GELAUTZM.Graph-cut-basedstereomatchingusingimagesegmentationwithsymmetricaltreatmentofocclusions［J］.SignalProcessingImageCommunication,2007

（2）.

　　［6］IMMERKRJ.SomeRemarksonthestraightlinehoughtransform［J］.PatternRecognitionLetters,1998（12）.

　　Title：

AnObstacleDetectionAlgorithm

　　BasedonBinocularStereoVision

　　Abstract:

AnobstacledetectionAlgorithmbasedontheV-disparityofBinocularStereoVisionispresented.BuildtheV-disparityaccordingtothedisparityimage,extractthestraightlineinformationintheV-disparity,anddetecttheobstaclesthroughthesestraightlineinformations.Thealgorithmdescripedinthispaperisnotsensitivetoilluminationandshadowandcanbeappliedtoabstacledetectionincompexbackground.

　　KeyWords:

obstacledetection;binocularvision;stereovision;V-disparity

基于双目立体视觉的障碍物检测方法

摘要：

提出了一种基于双目视觉的V视差图障碍物检测算法。

根据生成的视差图进一步生成V-视差图，提取V-视差图中的直线信息，通过这些直线信息可以锁定障碍物存在的大致区域，进而检测障碍物。

该算法对于光照、阴影等干扰不敏感，可以检测具有面特征的障碍物，适用于复杂背景下的障碍物检测。

　　关键词：

障碍物检测；双目视觉；立体视觉；V-视差

　　基金项目：

北华航天工业学院青年基金项目（KY-2011-14）

　　0引言

　　目前基于计算机视觉的障碍物检测算法主要分为两个大方向：

基于单目视觉的障碍物检测和基于双目立体视觉的障碍物检测。

由于基于立体视觉的检测方法无需先验知识，对阴影、光照、反光等天气变化造成的背景变化不敏感，能给出障碍物的距离信息，可靠性高，并且在多个目

　　标发生部分遮挡时仍能正确区分各运动目标。

基于立体视觉的检测方法有很大的应用前景。

　　基于双目立体视觉的障碍物检测算法主要有如下几种：

①逆透视投影法（IPM）检测障碍物。

在道路平面假设下，根据逆透视投影原理（IPM），通过计算两个俯视图的差分检测任何突起于路面的物体。

②DisparitySpaceImage法检测障碍物。

该算法假设车辆静止时的俯仰角（pitch）相对于水平面是零，而当车运动时，车会随着路面的起伏而震动，pitch角将不再是零了，这时所获图像，相对于车静止时的所获图像，会产生垂直方向上的差异。

文献［3］给出了一种用来获取不同时刻的pitch角的方法，并利用立体视觉区域相关法检测障碍物。

以上提到的方法对阴影、光照、反光等天气变化造成的背景变化很敏感；有些在分析中还要一些不切实际的假设，例如：

假设路面保持水平、假设车型满足某种条件等。

　　本文引进了一种V-视差法检测障碍物。

首先，对采集到的图片通过图像分割的方法来构建视差图。

在视差图中，沿图像坐标系中的V坐标轴方向（纵坐标）由上至下逐行扫描，累加具有相同视差值的像素点的个数，由此建立了V方向上的视差图。

通常，在V视差图中代表障碍物的直线一般是竖直的，因此可以通过从V方向视差图中提取出一些直线信息将障碍物从背景中提取出来。

在整个算法中不需要路面水平的假设，同时V-视差法能够检测具有面特征的物体，对于小面积的局部干扰不敏感，也无需保证轮廓边缘的完整性。

　　1双目摄像机模型

　　在本文中，双目摄像机的位置假设满足如图1所示的位置关系。

两个摄像机的像平面位于同一平面、同一高度并且是平行的，以获得较理想的平行光轴模型。

此时，这样就减少了立体匹配的搜索范围。

　　图1中的部分参数说明如下：

θ表示摄像机光轴与水平轴的夹角，h表示摄像机到地面的距离，b表示两个摄像机之间的距离（基线）。

　　2视差图的生成

　　文采用了文献［5］中所提及的基于图像分割的计算视差图的方法，在这算法基础上，将测试图片改为现实生活中的场景。

实际环境中立体图像对在拍摄过程中由于受到相机本身的误差，光线的明暗，复杂的背景影响而变得难以得到较理想的视差图。

本文结合实际经验和对图片的预处理，最终得到了较好的结果。

　　3V-视差图的构造

　　视差图内包含三维信息，在此基础上累加视差图像每一行上具有相同水平视差的像素个数countp，并以（ΔP,vl）为新的像素坐标，以countp为对应于该像素的灰度值，这样就形成了V-视差图。

用数学符号语言描述如下：

令H为以IΔ为变量的功能函数，即满足H（IΔ）=IvΔ。

指定IΔ中一行i，H函数累加该行中具有相同视差的点的个数。

在IvΔ中，对于给定的一行i，一点M的横坐标是视差值ΔM，它的灰度值为：

在IΔ，行i中，与ΔM值相等的点的个数iM，iM=∑p∈IΔδvp,iδΔp,ΔM，δi,j为Kroneckerdelta（克罗内克尔符号），即：

设I为集合，I×I的对角线之特征函数称为克罗内克尔符号，并记为δ。

习惯上将这个映射视为通过集合I×I确定下标的族，于是：

如果i≠j，δij=0；如果i=j，δij=1。

　　4障碍物检测

　　V-视差图像的计算是为了将原图像中的平面投影成一条直线，对于障碍物检测来说，路面以及障碍物均可以被投影成一条斜线和与斜线垂直的直线段。

换个角度理解，三维目标在二维图像中被投影成平面，而经过V-视差图像的计算后，又将平面投影成线段，障碍物的检测由平面检测转化为线段检测。

通过引入直线检测算法提取V视差图像中线段，即可确定路面和障碍物面在图像中的准确位置，而且路面和障碍物的交点即为障碍物的触地点。

　　利用Hough变换检测直线算法提取出V-视差图中的直线，由两线的交点可以得到障碍物的触地点。

垂直的直线段的高度代表障碍物的高度。

而宽度可以通过U视差法方法得到，U-视差的计算同V-视差的计算过程一样，唯一的区别在于V-视差是对V方向累加相同象素值的个数，而U-视差是对U方向累加视差图像每一列上具有相同视差的像素个数countp，并以（ul,ΔP）为新的像素坐标，以countp为对应于该像素的灰度值。

　　U-V视差结合识别目标如图6所示，以图中的圆球位置提取为例，圆球的水平位置可以通过U-视差图得到，圆球的纵向位置可以通过V-视差图得到，结合两个视差图就可以在待检测的目标图像中准确提取圆球的空间位置。

本文采用此方法检测障碍物，结果如图7中绿框所示。

　　5结束语

　　本文重点研究了基于V-视差障碍物检测算法。

首先基于视差图生成V-视差图，利用Hough变换检测V-视差图中的直线，从而确定障碍物与地面的接触点及障碍物的高度，再对视差图做U-视差，确定障碍物的宽度，进而锁定障碍物区域。

整个算法中不需要路面水平的假设，在检测车辆前方障碍物时无需先验知识，对阴影、光照、反光等天气变化造成的背景变化不敏感，检测对象为一切具有面特征的物体。

对于小面积的局部干扰不敏感，也无需保证轮廓边缘的完整性。

　　参考文献：

　　[1]BERTOZZIM,BROGGIA.GOLD:

Aparallelreal-timestereovisionsystemforgenericobstacleandlanedetection［J］.IEEETransactionsonImageProcessing,1998

（1）.

　　［2］BROGGIA.ObstacleDetectionwithStereoVisionforOff-RoadVehicleNavigation［C］.Proceedingsofthe2005IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,2005.

［3］FRANKEU,JOOSA.Real-TimeStereoVisionforUrbanTrafficSceneUnderstanding［C］.IntelligentVehiclesSymposium,2000.

　　［4］LABAYRADER,AUBERTD,TARELJP.Realtimeobstacledetectioninstereovisiononnonflatrodegeometrythrough“V-disparity”representation［J］.IntelligentVehicleSymposium,IEEE,2002

（1）.

　　［5］BLEYERM,GELAUTZM.Graph-cut-basedstereomatchingusingimagesegmentationwithsymmetricaltreatmentofocclusions［J］.SignalProcessingImageCommunication,2007

（2）.

　　［6］IMMERKRJ.SomeRemarksonthestraightlinehoughtransform［J］.PatternRecognitionLetters,1998（12）.

　　Title：

AnObstacleDetectionAlgorithm

　　BasedonBinocularStereoVision

　　Abstract:

AnobstacledetectionAlgorithmbasedontheV-disparityofBinocularStereoVisionispresented.BuildtheV-disparityaccordingtothedisparityimage,extractthestraightlineinformationintheV-disparity,anddetecttheobstaclesthroughthesestraightlineinformations.Thealgorithmdescripedinthispaperisnotsensitivetoilluminationandshadowandcanbeappliedtoabstacledetectionincompexbackground.

　　KeyWords:

obstacledetection;binocularvision;stereovision;V-disparity