LK法An Iterative Image Registration Technique.docx

LK法An Iterative Image Registration Technique.docx

《LK法An Iterative Image Registration Technique.docx》由会员分享，可在线阅读，更多相关《LK法An Iterative Image Registration Technique.docx（24页珍藏版）》请在冰豆网上搜索。

LK法AnIterativeImageRegistrationTechnique

LK法

AnIterativeImageRegistrationTechnique

withanApplicationtoStereoVision

立体视觉应用上的迭代图像配准技术

Abstract

Imageregistrationfindsavarietyofapplicationsincomputervision.Unfortunately,traditionalimageregistrationtechniquestendtobecostly.WepresentanewimageregistrationtechniquethatmakesuseofthespatialintensitygradientoftheimagestofindagoodmatchusingatypeofNewton-Raphsoniteration.Ourtechniqueisfasterbecauseitexaminesfarfewerpotentialmatchesbetweentheimagesthanexistingtechniques.Furthermore,thisregistrationtechniquecanbegeneralizedtohandlerotation,scalingandshearing.Weshowshowourtechniquecanbeadaptedforuseinastereovisionsystem.图像配准找到了在计算机视觉中的多种应用。

不幸的是，传统的图像配准技术花费较大。

我们采用了一个新的图像配准技术，它使用了图像的空间强度梯度，通过用Newton-Raphson迭代来找到一个好的匹配。

我们的技术速度更快，因为它比现存的技术检验了更少的图像之间的潜在匹配。

此外，这个配准技术可以普遍化到处理旋转、缩放和剪切。

我们展示了我们的技术能适用于立体视觉系统。

1.Introduction简介

Imageregistrationfindsavarietyofapplicationsincomputervision,suchasimagematchingforstereovision,patternrecognition,andmotionanalysis.Unfortunately,existingtechniquesforimageregistrationtendtobecostly.Moreover,theygenerallyfailtodealwithrotationorother

distortionsoftheimages.图像匹配在计算机视觉中有很多应用，如立体视觉的图像匹配、模式识别和运动分析。

不幸的是，现存的用于图像匹配的技术花费过高。

此外，它们大多不能处理图像的旋绕或其他扭曲。

Inthispaperwepresentanewimageregistrationtechniquethatusesspatialintensitygradientinformationtodirectthesearchforthepositionthatyieldsthebestmatch.在本文中，我们展示了一个新的图像配准技术，它运用了空间强度梯度信息来指导对位置的研究，这可以得到最佳匹配。

Bytakingmoreinformationabouttheimagesintoaccount,thistechniqueisabletofindthebestmatchbetweentwoimageswithfarfewercomparisonsofimagesthantechniqueswhichexaminethepossiblepositionsofregistrationinsomefixedorder.和在固定顺序中检验可能的配准的位置的技术相比，我们的技术将图像中更多的信息考虑进来，从而用了更少的图像之间的比对就可以找到两幅图之间的最佳匹配。

Ourtechniquetakesadvantageofthefactthatinmanyapplicationsthetwoimagesarealreadyinapproximateregistration.Thistechniquecanbegeneralizedtodealwitharbitrarylineardistortionsoftheimage,includingrotation.我们的技术运用了“在很多应用中，两幅图像早已是大致配准了”的实际情况。

这一技术可以普遍化来处理图像上的任意线性失真，包括旋绕。

Wethendescribeastereovisionsystemthatusesthisregistrationtechnique,andsuggestsomefurtheravenuesforresearchtowardmakingeffectiveuseofthismethodinstereoimageunderstanding.然后我们描述了运用这一配装方法的立体视觉系统，并对如何在立体图像理解中更高效地运用这一方法的研究上提出了进一步的方法。

2.Theregistrationproblem配准问题

Thetranslationalimageregistrationproblemcanbecharacterizedasfollows:

WearegivenfunctionsF（x）andG（x）whichgivetherespectivepixelvaluesateachlocationxintwoimages,wherexisavector.WewishtofindthedisparityvectorhwhichminimizessomemeasureofthedifferencebetweenF（x+h）andG（x）,forxinsomeregionofinterestR.（Seefigure1）传统的图像配准问题可以描述如下：

我们有了函数F（x）和G（x），它们给出了两个图像上各个位置x上的各自的像素值，此处x是个向量。

我们希望找到视差向量h，对于一些感兴趣区域R中的x，h把F（x+h）和G（x）之间的差异的测量进行了最小化。

（见图1）

Figure1:

Theimageregistrationproblem

图1：

配准问题

TypicalmeasuresofthedifferencebetweenF（x+h）andG（x）are:

典型的F（x+h）和G（x）之间的差异的测量是:

Wewillproposeamoregeneralmeasureofimagedifference,ofwhichboththeL2normandthecorrelationarespecialcases.TheL1normischieflyofinterestasaninexpensiveapproximationtotheL2norm.我们将会提出一个更加一般化的图像差异的测量，其中L2范数和相关性都是特殊情况。

对L1感兴趣主要是因为它是L2的一个很容易获取的近似。

（L1是线性的，所以计算起来简单）

3.Existingtechniques现存的技术

Anobvioustechniqueforregisteringtwoimagesistocalculateameasureofthedifferencebetweentheimagesatallpossiblevaluesofthedisparityvectorh—thatis,toexhaustivelysearchthespaceofpossiblevaluesofh.一个用于对两幅图像进行配准的显而易见的方法就是，对在所有可能的视差向量h的值上，对两幅图之间的差异的测量进行计算---即，对h所有可能的值上的区域进行穷举性的搜索。

Thistechniqueisverytimeconsuming:

ifthesizeofthepictureG（x）isN*N,andtheregionofpossiblevaluesofhisofsizeM*M,thenthismethodrequires

timetocompute.这一技术非常耗费时间：

如果图像G（x）的尺寸是N*N，h可能值的区域的尺寸是M*M，则这个方法需要

的时间来进行计算。

Speedupattheriskofpossiblefailuretofindthebesthcanbeachievedbyusingahill-climbingtechnique.通过加速可能失败的风险来找到最佳的h可以用一个爬山技术来实现。

Thistechniquebeginswithaninitialestimate

ofthedisparity.这个技术从一个初始估计的视差

开始。

Toobtainthenextguessfromthecurrentguess

oneevaluatesthedifferencefunctionatallpointsinasmall（say,3*3）neighborhoodof

andtakesasthenextguess

+1thatpointwhichminimizesthedifferencefunction.为了从当前的猜想

中获得下一个猜想，我们在

较小的附近范围（如3*3）中对所有点的差异函数进行估计，再作为下一个猜想

+1，那个点可以把差异函数进行最小化。

Aswithallhill-climbingtechniques,thismethodsuffersfromtheproblemoffalsepeaks:

thelocaloptimumthatoneattainsmaynotbetheglobaloptimum.Thistechniqueoperatesin

timeontheaverage,forMandNasabove.对于所有的爬山技术，这个方法会遭遇到伪峰问题：

获得的局部最佳或许并不是全局下的最佳。

这个技术的平均耗时为

，M,N正如上所述。

Anothertechnique,knownasthesequentialsimilaritydetectionalgorithm（SSDA）[2],onlyestimatestheerrorforeachdisparityvectorh.InSSDA,theerrorfunctionmustbeacumulativeonesuchastheL1orL2norm.另一个技术，称为序贯相似检测算法（SSDA），它只估计了对于每个视差向量h的误差。

在序贯相似检测算法（SSDA）中，误差方程必须是累积的，如L1和L2范数。

Onestopsaccumulatingtheerrorforthecurrenthunderinvestigationwhenitbecomesapparentthatthecurrenthisnotlikelytogivethebestmatch.当当前的h很明显不能给出最佳匹配时时，则要在调查中停止当前h的误差累积。

Criteriaforstoppingincludeafixedthresholdsuchthatwhentheaccumulatederrorexceedsthisthresholdonegoesontothenexth,andavariablethresholdwhichincreaseswiththenumberofpixelsinRwhosecontributiontothetotalerrorhavebeenadded.SSDAleavesunspecifiedtheorderinwhichtheh’sareexamined.停止的判断准则包括一个固定的阈值，所以当累积的误差超过这个阈值后，进行下一个h，以及一个可变的，随着贡献已加入到总体误差中的R中像素数目而增加的阈值。

SSDA（序贯相似检测算法）留下了未详细说明的序列，在这个序列汇总h被检验。

NotethatinSSDAifweadoptasourthresholdtheminimumerrorwehavefoundamongthehexaminedsofar,weobtainanalgorithmsimilartoalpha-betapruninginmin-maxgametrees[7].Herewetakeadvantageofthefactthatinevaluating

whered（x,h）isthecontributionofpixelxatdisparityhtothetotalerror,the

canonlyincreaseaswelookatmorex’s（morepixels）.注意到在序贯相似检测算法（SSDA）中，如果我们选择目前检测过的h中的最小值误差为阈值的话，可以得到一个计算方法，它近似于在小-大博弈树中的α-β剪枝算法。

这里我们利用了一个事实，即在估计

中，其中d（x,h）是在时差h上像素x对总体误差的贡献，

只有当我们观察更多x（更多像素）时才会增加。

Someregistrationalgorithmsemployacoarse-finesearchstrategy.See[6]foranexample.Oneofthetechniquesdiscussedaboveisusedtofindthebestregistrationfortheimagesatlowresolution,andthelowresolutionmatchisthenusedtoconstraintheregionofpossiblematchesexaminedathigherresolution.Thecoarse-finestrategyisadoptedimplicitlybysomeimageunderstandingsystemswhichworkwitha"pyramid"ofimagesofthesamesceneatvariousresolutions.一些配准运算运用了粗糙-精细研究的策略。

见[6]作为一个例子。

上面讨论的其中一个技术被用于在低分辨率下找到图像的最佳配准，然后这个低分辨率匹配接着被用于对在更高分辨率下检验到的可能的匹配的区域进行限制。

粗糙-精细策略被一些图像理解系统暗中采用，这些图像理解系统是和有着不同分辨率的同一景象的图像“金字塔”一起工作的。

Itshouldbenatedthatsomeofthetechniquesmentionedsofarcanbecombinedbecausetheyconcernorthogonalaspectsoftheimageregistrationproblem.应该认为，一些提到的技术目前可以相互结合，因为它们都考虑图像配准问题中的正交方面。

Hillclimbingandexhaustivesearchconcernonlytheorderinwhichthealgorithmsearchesforthebestmatch,andSSDAspecifiesonlythemethodusedtocalculate（anestimateof）thedifferencefunction.爬山技术和穷举搜索都只考虑了对最佳匹配的运算研究的顺序，而序贯相似检测算法（SSDA）只是指定了用于计算（估计）差异方程的的方法。

Thusforexample,onecouldusetheSSDAtechniquewitheitherhillclimbingorexhaustivesearch,inadditionacoarse-finestrategymaybeadopted.因此，举例而言，我们可以把序贯相似检测算法（SSDA）技术和爬山技术或者穷举搜索法结合起来，还再再采用一个粗糙-精细战略。

Thealgorithmwepresentspecifiestheorderinwhichtosearchthespaceofpossibleh's.我们展示的运算方法指定了研究可能的h的空间的顺序。

Inparticular,ourtechniquestartswithaninitialestimateofh,anditusesthespatialintensitygradientateachpointoftheimagetomodifythecurrentestimateofhtoobtainanhwhichyieldsabettermatch.特别的，我们的技术从一个起始估计的h开始，然后它使用了图中每一个点的空间硬度梯度来修改当前对h的估计，来获得一个可以得到更好匹配的h。

ThisprocessisrepeatedinakindofNewton-Raphsoniteration.这个进程在Newton-Raphson迭代中不断重复。

Iftheiterationconverses,itwilldosoin

stepsontheaverage.如果迭代逆转了，在

中的平均步骤中也会这样Thisregistrationtechniquecanbecombinedwithacoarse-finestrategy,sinceisrequiresaninitialestimateoftheapproximatedisparityh.这个配准技术可以和一个粗糙-精细策略相结合，因为它要求一个对于大致的视差h的一个初始估计。

4.Theregistrationalgorithm配准算法

Inthissectionwefirstderiveanintuitivesolutiontotheonedimensionalregistrationproblem,andthenwederiveanalternativesolutionwhichwegeneralizetomultiple-dimensions.Wethenshowhowourtechniquegeneralizestootherkindsofregistration.Wealsodiscussimplementationandperformanceofthealgorithm.在这个章节，我们首先引出一个用于一维配准问题的直观的解决方案，然后我们引出一个用于多维的替代方案。

接着我们展示出我们的技术是如何普遍化于其他种类的配准的。

我也对这个运算方法的实现和性能进行了讨论。

4.1.Onedimensionalcase一维的案例

Intheone-dimensionalregistrationproblem,wewishtofindthehorizontaldisparityhbetweentwocurvesF（x）andG（x）=F（x+h）.ThisisillustratedinFigure2.在一维配准问题中，我们希望在两个曲线F（x）和G（x）=F（x+h）之间找到水平视差h。

如在图2中说明的。

Figure2:

Twocurvestobematched

图2：

两条需要进行匹配的曲线

OursolutiontothisproblemdependsonalinearapproximationtothebehaviorofF（x）intheneighborhoodofx,asdoallsubsequentsolutionsinthispaper.Inparticular,forsmallh,我们对这个问题的解决方法依赖于一个在x附近的对F（x）表现的线性逼近，本文中所有的后续解决方案也是这么做的。

特别的，对于小的h，

Thesuccessofouralgorithmrequireshtobesmallenoughthatthisapproximationisadequate.Insection4.3wewillshowhowtoextendtherangeofh’soverwhichthisapproximationisadequatebysmoothingtheimages.我们的运算的成功需要h足够小使得这个逼近变得足够。

在4.3节中我们将展示，在通过平滑图像来让逼近变得充足上，如何将h的范围延展开。

Theapproximationtohgivenin

（2）dependsonx.Anaturalmethodforcombiningthevariousestimatesofhatvariousvaluesofxwouldbetosimplyaveragethem:

在

（2）中给出的h的近似取决于x。

一个将不同的h的估计值和不同的x的估计值相结合的自然的方法就是简单的将它们平均。

Wecanimprovethisaveragebyrea