基于竞争机制的双目视觉匹配与实时测距.docx

上传人:b****5 文档编号:5696680 上传时间:2022-12-31 格式:DOCX 页数:15 大小:166.56KB
下载 相关 举报
基于竞争机制的双目视觉匹配与实时测距.docx_第1页
第1页 / 共15页
基于竞争机制的双目视觉匹配与实时测距.docx_第2页
第2页 / 共15页
基于竞争机制的双目视觉匹配与实时测距.docx_第3页
第3页 / 共15页
基于竞争机制的双目视觉匹配与实时测距.docx_第4页
第4页 / 共15页
基于竞争机制的双目视觉匹配与实时测距.docx_第5页
第5页 / 共15页
点击查看更多>>
下载资源
资源描述

基于竞争机制的双目视觉匹配与实时测距.docx

《基于竞争机制的双目视觉匹配与实时测距.docx》由会员分享,可在线阅读,更多相关《基于竞争机制的双目视觉匹配与实时测距.docx(15页珍藏版)》请在冰豆网上搜索。

基于竞争机制的双目视觉匹配与实时测距.docx

基于竞争机制的双目视觉匹配与实时测距

基于竞争机制的双目视觉匹配与实时测距

熊超

田小芳陆起涌

(复旦大学电子工程系,上海200433)

摘要利用立体视觉系统实现移动机器人避障具有探测范围宽,目标信息完整等优势。

从立体视觉中提取距离信息是计算机视觉的热点问题,其困难在于图像匹配问题。

文章提出了一种基于竞争机制实现立体视觉匹配的方法。

该方法将匹配问题映射为一个矩阵。

其元素代表可能匹配的像点。

根据匹配约束,匹配矩阵元素之间竞争,最后胜出者即为最优匹配点。

获得匹配点后,根据摄像机透射投影模型恢复图像深度信息。

实验结果表明.该方法需处理数据少、计算简便、适于

实时测量。

关键词计算机视觉双目测距匹配矩阵特征提取竞争机制文章编号1002—8331一(2006)01—0083—03

文献标识码A

中图分类号TPl8

Real-time

Binocular

Based

Xiong

Matching

on

Tian

andDepth

Measurement

CompetingSchema

Xiaofang

Lu

Chao

Qiyong

200433)

information.Depth

process.A

from

stereo

(Electronic

Abstract:

vision—based

stereo

EngneeringDepartment,Fudan

University,Shanghai

obstacleavoidingsystem

area

hassuperioritiesindetectingscopeandtarget

vision

field,and

thekey

problemis

the

is

an

activeresearch

on

inthe

computer

is

matching

onto

as

matching

methodbased

competingschema

matching

proposed.Thematchingprocessis

to

mappedother

matrix,whereeach

rulesandthe

to

elementrepresentsfinal

winner

is

pairbest

ofpossiblematching

pixels.Theseelementsthat,the

depth

compete

eachbe

matching

the

points.After

informationshow

that

can

easily

data

recoveredis

according

to

the

cameratransmission

simple

projection

model.The

experiment

resultsless

image

needed

process,the

procedureisandtheproposed

methodisfitforreal-timemeasurement.

Keywords:

computervision,binoculardepthmeasurement,matchingmatrix,featureextraction,competingschema

引言

智能移动机器人作为一个能在复杂环境下自主决策的智

选取一行图像作为处理对象,运用竞争机制灵活有效地进行双目视觉匹配,最后给出实验结果说明该方法的有效性。

能体,应该具备三个基本功能:

感知功能、思维功能以及行动功能【lI,并且能够自主实现路径规划。

而通常情况下,移动机器人感知环境的手段是不完备的,传感器给出的数据是不完全、不连续和不可靠的。

因此移动机器人障碍物的探测是当今机器人研究领域的热点问题和难点问题【2,3】。

目前实现避障的主要方法有红外避障、超声避障、激光避障、微波雷达避障、接近式传感器避障和视觉避障。

其中,由于机器视觉系统在一定程度上实现了模拟人的视觉感知功能,具有探测范围宽,目标信息完整等优势.现在越来越受到人们重视并表现出良好的发展前景。

通过立体视觉恢复出深度信息一直是计算机视觉中的热点,其主要困难在于立体视觉匹配问题。

本文提出一种基于竞争匹配机制,该方法利用双目视觉约束条件,构造一个匹配矩阵,其元素代表可能存在的匹配点,这些元素依据约束条件互相竞争。

最后产生的胜出者即为最佳匹配点。

实验表明,通过该方法实现双目测距具有处理的数据量小、实时性好、实现简单、测量精度高的特点。

本文接下来首先介绍双目测距的原理,然后重点介绍双目测距中的匹配问题.根据Mart提出双目视觉匹配约束条件[41,

2双目测距原理

双目立体视觉是从人的双目产生立体感中获得启示,研究如何从左右两个摄像机所得的两幅图像中获取场景中的深度信息旧。

图1(a)是双摄像机观察同一点P的情况。

图中两个摄像机的成像平面zm、Xryr处于同一平面并且与z轴垂直,焦距相等,光心0。

、0:

处于X轴。

这种条件下,摄像机被称为处于平行对准状态。

图1(b)是P点在XZ平面上的投影图。

舰、辑分别为点P(X,,y,,互)在左、右摄像机成像平面中的投影,称为成像点对,也即是在匹配过程中所寻找的在左右两幅图像上代表空间同一点的一对匹配点。

根据摄像机透射投影模型,可以求出P点坐标五:

弓=警

其中D=xFx,,为点P在两摄像机中成像所形成的视差,磊就是所要求的空间点尸到两摄像机中心的距离。

即到观测者的距离。

d为两摄像机光心之间的距离,厂摄像机的焦距,可以通过摄像机标定获得[q。

构建双目视觉系统要求左右两个摄像机

作者简介:

熊超(1981一),男,硕士研究生,主要研究方向为计算机视觉、智能控制、嵌入式系统等方面。

田小芳(1981一),女,硕士研究生,主要研究

方向为智能控制、嵌入式系统、计算机视觉等方面。

陆起涌,男,副教授,现从事人工智能、嵌入式系统设计、智能仪器仪表、系统集成等方面的教学与科研工作。

计算机工程与应用2006.01

83

万方数据 

焦距相同。

规、坼为摄像机成像平面坐标系下的坐标值。

,、却、簖上,竹即为e(xz,yf)点在右图上对应的外极线。

因此,对于一个的单位均为像素数,zD的单位和d相同。

根据图l(b)容易求得:

图像点只需在它的外极线上寻找其匹配点即可,这样可以大大-=d‘警

减少处理的数据量,提高处理速度。

图2(b)为用Defiche算子提取边缘的结果,“+”标记为提取的边缘特征点。

对经平滑处理将P点向YZ平面投影,同理可得:

后的某一行图像求导,所得结果如图2(c)所示。

匕=d’警

对图2(c)所示结果作进一步处理,提取显著特征信息。

先设定一个阈值t,t为最大幅值的10%,滤除属于区间卜t,卅

这样,P点相对于观测者的位置就可完全确定了,从而能的梯度值。

将剩余的梯度幅值分布划分成邻域,每个邻域的梯够为实现避障提供充分的信息。

度符号相同。

每个邻域中梯度极大值即对应于边缘特征信息最为明显的像素点,结果如图2(d)所示。

分别提取左、右图像边缘信息,其中包含:

该边缘在图像中

二。

的位置,对Defiche算子响应幅度以及梯度符号。

作为竞争匹配

7’

“/

,I/

的输入。

3.2竞争匹配方法

MaⅡ提出立体视觉匹配的三个约束条件:

相容性约束,唯

.02

一性约束和连续性约束。

文献【8】进一步归纳为两类约束:

本地约束和全局约束。

本地约束中包括:

几何学约束。

左图中的边缘(a)双目视觉透视(b)X—Z平面投影

Z和右图中的边缘r如果匹配,则必须满足xl>x,;斜坡约束,具图1双目视觉成像原理

有相同的梯度符号的边缘才有可能匹配。

全局约束包括:

唯一性约束.左图中某个边缘只能和右图中一个边缘匹配,反之亦

从上述分析不难看出,获得障碍物的距离信息关键是需要然;顺序约束,假设左图像中有两个边缘点f】、f:

,右图像中有也两个边缘点rl、r2,Zl与rI匹配。

如果xu>xn,省,1“&,则Z2不可能与r2匹配;连续性约束,匹配得到的视差值的变化在图像中几乎处处平滑。

根据本地约束,构造一个M×慨的匹配矩阵,如图3所示。

配两部分.具体实现如下文所述。

厂]=:

甬lL…i

.一:

j‘.一I一…一一占一一‘~一.岳一.0一一6一一J-一一

梧求一i}一:

木。

一叶一}鼍》’一{一}一

本文提出的匹配方法分为两步:

提取特征和竞争匹配。

蝾…●一◆一∑__+--@一◆一番一_.一}一j

划特征提取

匝…●一一o…一:

粘一■一占一。

一一6一一。

一一

…,一r…一1一K—t一呷一1一r一

\:

立体视觉匹配首先应该从左、右视图里提取出能够代表视

…+一.-…一’一+’一汰一◆一々一.-一…●一■…一o~■一◆一N

l}:

-71-:

-T-

I\I

图3匹配矩阵

其中M、%分别是左、右图像的特征边缘数,矩阵中的元

素胁代表左图中边缘Z与右图中边缘r相匹配,白圈代表有

效匹配,黑圈代表无效匹配。

有效匹配作为候选匹配参加竞争.

用cS螈代表匹配程度,CS耽值越大表示匹配程度越高。

竞争

规则根据全局约束制定,共分为三条:

(a)原图(b)Defiche算子提取边缘结果

(1)任一个候选匹配%认为自己是最佳匹配,根据唯一性

约束,认为所有与慨处在同一行或同一列的匹配一定是无效

匹配。

并将它们的匹配程度值减去1;

(2)根据顺序约束.认为所有Z’d且r’>r或者Z’爿且r7<,的匹配%,,均为无效匹配,并将它们的匹配程度值减去l;

(3)根据连续性约束,如果%、尬,同为有效匹配,那么它

图2边缘提取

们的视差应该相近,如果慨,是无效匹配,则它的视差与%的视差相差较大。

因此,%将根据与其它匹配视差的差值判断其

双摄像机平行对准放置。

根据外极线约束[习,左图像上任一

它匹配的有效程度,并按照下面公式影响它们的匹配程度值:

I!

s鸭,?

(n)=cs鸭,r,(n—1)一(1_e1)

84

2006.01计算机工程与应用

万 

方数据在左、右图像中发现与同一空间点对应的成像点对。

这个问题就称为匹配问题。

匹配问题是立体视觉中的一个难点问题,主要体现:

(1)计算数据量大,实时性差;(2)容易出现多义性问题.即对于一幅图中给定的匹配基元在另一幅图中出现不止一个匹配基元与之匹配。

针对这两个问题,本文提出了一种基于竞争机制的立体视觉匹配方法。

该方法分为特征提取和竞争匹3立体视觉竞争匹配方法

3.1

场中物体的明显信息。

本文的方法以物体边缘信息作为匹配基元,边缘点在灰度图像中对应为灰度值急剧变化的像点。

我们用Defiche提出的递归微分算子提取边缘信息同。

Defiche的方法分为两步:

(1)用递归平滑滤波器对图像进行滤波,滤除噪声点;(2)对滤波后的图像求导,得到边缘信息。

(c)平滑处理后的某行图像求导结果(d)提取显著特征信息的进一步结果

点P(卸,抑)在右图像上的对应点P’(并,,yr)一定位于竹劭直线

其中并代表慨,和耽视差差值的绝对值。

按如上规则对每个候选点进行一次判断。

最后,竞争胜出

表1实验结果

cm

者即为匹配程度值cS%最大的匹配,其所对应的匹配点这一

行图像中达到最佳匹配。

这样,在一定程度上克服了匹配的多义性问题。

579

18.18(3.3%)19.85(5.0%)23.39(2.5%)34.13(6.6%)40.29(7.3%)18.28(3.9%)20.48(2.5%)25.94(8.0%)32.04(0.1%)38.36(3.7%)18.05(2.6%)20.60(1.9%)24.32(1.3%)34.37(7.4%)39.79(7.5%)

注:

括号中为测量误差值

4实验与小结

本文采用一个普通USB摄像头PCCAM一168。

分别从左右相距一定距离d的位置拍摄待测物体(实验选取一个水杯作为待测物体),以此来模拟双目摄像采集数据。

在摄像头移动的过程中。

尽可能地保证成像平面呈平行对准姿态。

然后在Pill

Intel—Celeron

1.0GHz

完整等优势。

本文根据Marr关于双目视觉匹配的三个约束条件,提出了一种基于竞争机制的快速立体视觉匹配方法,实现双目测距。

实验证明,该方法实时性好、实现简单、测量精度较高,能够为移动机器人自主避障提供可靠的判据。

(收稿日期:

2005年3月)

CPU.128M内存PC机,Matlab6.1平台

上验证本文提出的双目测距算法有效性。

如图4所示,待测物体水杯与摄像头之间的水平距离z-17.60cm.两次成像光心之间的距离d=9cm,图上“+”符号指示为匹配点的位置。

实验测的匹配点离摄像头水平距离为18.05cm,误差为0.45cm。

实验结

果见表1。

参考文献

1.梁冰,洪炳镕,曙光.自主机器人视觉与行为模型及避障研究【J].电子学报,2003;(12)

2.Thongchai

S,SuksakulchaiN.SonarBehavior-BasedFuzzyControlfor

Mobile

Robot[C].In:

Systems,Man,andCybernetics,2000IEEEInter-

nationalConferenceon,2000:

5:

3532~35373.OhyaA.KosakaAKak.Vision-basednavigationwitll

obstacle

using

on

by

mobilerobot

single—cameravisionRoboticsand

andultrasonic

sensing[J].

IEEETransactions4.D

Automation,1998;14(6):

969—978

Disparity[J].Science,1976:

Mart,TPoggio.Cooperative

ofStereo

283~287

5.吴立德.计算机视觉【M].上海复旦大学出版社,1993—12

6.ZhengyouZhang.AIEEE

Transactions

FlexibleNewTechniqueforCamera

on

Calibration[J].

Pattern

Analysis

and

MachineIntelligence,

2002;(11)

7.R

Denche.FastalgorithmsPatternAnalysis

forlow-level

图4匹配结果

on

vision[J].IEEETransactions

andMachineIntelligence,1990;12(1):

78-87

8.IssaH,Ruichek

Y,PostaireJ-G.Extractingdepthinformationfrom

实验误差介于0.1%~8.O%之间。

本实验输入为320x240、24位图像,测距程序耗时均为0.24s。

利用双目视觉实现机器人避障具有探测范围宽,目标信息(上接52页)

表1分割结果分析

stereo

linearimagesusing

geneticapproach[C].In:

IntelligentSystems,

Symposium,2002;1:

2002

Proceedings,2002FirstInternationalIEEE

】85-189video

objects[J].IEEETrans

CircuitSyst

VideoTech,1998;8(5):

572~5842.Kimusing

EY,Hwang

genetic

SW,ParkSH

et

a1.Spatiotemporal

segmentation

algorithms[J].PattRecognit,2001;(34):

2063-2066

E.Digital

Image

3.Gonzalez

RC.WoodsR

Processing[M].seconded.

USA:

Prentice—Hall,Reading,NJ,20024.Rezaee

R.vallderZwet.PMtechniquebased

on

eta1.Amultiresolution

image

segmentation

pyramidal

segmentation

andfuzzy

clustering[J].IEEETransImageProcess,2000;9(7):

1238-12485.WangJZ,IjJ,GrayRM

注:

0、1、2表示从最高到最低分辨率金字塔层,肘为合并后的分割图像。

mentationforMach6.S

et

a1.Unsupervisedmultiresolutionseg—

imageswithlowdepthoffield[J].IEEETransPattAnal

Intell,2001;23(1):

85-90

Mukhopadhyay.BChanda.MuhiscaleMorphological

Segmentation

of

4结论

本文中描述了基于多分辨率的分水岭分割算法,该方法产生了视觉上有意义的分割结果,降低了计算的复杂度,改善了分割的准确性。

(收稿日期:

2005年8月)

Gray-Scale

Images[J].IEEETRANSACTIONSONIMAGEPROCESS-

ING,2003;12(5)

7.“u

J,Yang,Y

H.Multiresolution

color

image

segmentation[J].IEEE

TransPatt8.KimJ

AnalMach

Intell,1994;16(7):

689—700

et

B.LeeW,YunTSa1.Wavelet—basedvehicletracking

参考文献

1.GuC.Lee

MC.Semiautomatic

segmentationandtrackingof

forautomatictraffic

surveillance[C].In:

ProceedingsoftheIEEE7ren—

semantic

con’01,Singapore,2001:

313—316

计算机工程与应用2006.叭

85

万方数据 

基于竞争机制的双目视觉匹配与实时测距

作者:

作者单位:

刊名:

英文刊名:

年,卷(期):

被引用次数:

熊超,田小芳,陆起涌,XiongChao,TianXiaofang,LuQiyong复旦大学电子工程系,上海,200433计算机工程与应用COMPUTERENGINEERINGANDAPPLICATIONS2006,42

(1)2次

参考文献(8条)

1.IssaH;RuichekY;PostaireJ-GExtractingdepthinformationfromstereolinearimagesusingageneticapproach[外文会议]2002

2.RDericheFastalgorithmsforlow-levelvision[外文期刊]1990(01)

3.ZhengyouZhangAFlexibleNewTechniqueforCameraCalibration[外文期刊]2002(11)

4.吴立德计算机视觉1993

5.DMarr;TPoggioCooperativeofStereoDisparity[外文期刊]1976

6.OhyaA;KosakaAKakVision-basednavigationbyamobilerobotwithobstacleusingsingle-cameravisionandultrasonicsensing[外文期刊]1998(06)

7.ThongchaiS;SuksakulchaiNSonarBehavior-BasedFuzzyControlforaMobileRobot[外文会议]2000

8.梁冰;洪炳镕;曙光自主机器人视觉与行为模型及避障研究[期刊论文]-电子学报2003(12)

引证文献(2条)

1.狄红卫.柴颖.李逵一种快速双目视觉立体匹配算法[期刊论文]-光学学报2009(8)

2.于今.饶冀.闫军涛基于双目立体视觉的壁面清洗机器人障碍物检测研究[期刊论文]-传感器与微系统2007(7)

本文链接:

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 小学教育 > 小升初

copyright@ 2008-2022 冰豆网网站版权所有

经营许可证编号:鄂ICP备2022015515号-1