图像匹配综述上课讲义.docx

1、图像匹配综述上课讲义图像匹配综述图像匹配综述 摘 要：主要从图像匹配技术的概念、一般性描述及图像匹配技术的技术分类对图像匹配进行描述，在图像匹配技术的分类中，对各个方法的优缺点进行了详细的说明。 关键词：图像匹配；一般性描述；分类 随着科学的飞跃发展，近年来图像匹配技术在许多方面有着非常重要的应用，尤其是在医学方面、运动物体的跟踪、计算机视觉、天气预报以及各种资源分析等方面运用非常广泛。本文对图像匹配进行综述，以便读者对其有个粗略的了解。 一、图像匹配的概念 图像匹配的概念：在两幅图像中，从一幅图像中寻找与另一幅具有相同或相似的过程。 二、图像匹配的一般性描述 图像匹配可以描述为：假设给定大小

2、分别为mm和nn像素图像h1（x，y）及h2（x，y），它们的映射关系为： h2（x，y）=g（h1（a（x，y），（2-1） 式（2-1）中，符号a是二维或者多维的几位变换（x，y）=a（x，y），符号g为一维或者多维图像的亮度变换。匹配图像问题的实质是寻找两幅图像的最佳几何变换a和亮度变换，最终的目的是使预先定义的那种测度为最小值或者达到最大值，以达到两幅待匹配图像的匹配。匹配图像的关键主要是下列因素选择的一个组合：待匹配图像的特征空间、相似度、几何变换类型和参数的搜索策略。 下表2-1给出了待匹配图像的特征空间、相似度及搜索策略的几个主要要素及它们对应的内容。 表2-1 待图像匹配的三个

3、关键因素 三、图像匹配技术的分类 图像匹配技术算法分类很多，但都遵守这样的基本原则：（1）算法必须是有效的。（2）算法必须是稳定的，当待匹配的图像发生旋转、尺度伸缩及被遮挡时，此种算法仍能使用。（3）算法必须是快速的。 1.基于图像灰度相关的匹配方法 基于图像灰度匹配算法是利用整幅图像的灰度信息进行匹配的方法。 几种常见的算法有平均绝对差算法、归一化积相关算法、互信息匹配算法、傅立叶相关算法等。下面简要介绍以下这几种算法： （1）平均绝对差算法 平均绝对差算法是这样定义的： d（x，y）= s（i+x，j+y）-T（i，j）（3-1） 其中，0xM-m+1；0yN-n+1。d（x，y）为度量函

4、数在偏移量（x，y）的度量值，当d（x，y）为最小时是最佳的匹配位置。它的优点为：计算比较简单；不足是：对噪声比较敏感，噪声越多正确匹配的几率越小。 （2）归一化积相关算法 归一化积相关算法是一种经典的基于灰度的相关匹配算法。它的定义如下： d（x，y）= （3-2） 在（3-2）中，0xM-m+1；0yN-n+1。d（x，y）为度量函数在偏移（x，y）的度量值，当d（x，y）为最大时是最佳的匹配位置。它的优点是：抗白噪声非常强，且在几何畸变和灰度变化不大时，图像的匹配精度很高。 （3）互信息匹配算法 互信息匹配算法是近年来才提出的匹配方法，它是基于像素相似性的匹配算法，这种算法把像素灰度信息

5、的统计特征直接作为匹配的依据，省去了对图像进行分割和特征提取过程，它的好处是不但避免了在图像分割或特征提取中造成精度损失，而且便于进行回溯式的研究。 把参考图和输入图的灰度值分别看作是随机的两个变量A和B，它们对应的概率密度分别是P（A）及P（B），那么随机变量A和B的互信息可以用下式来表示： MI（A，B）=H（B）-H（B/A）=H（A）+H（B）-H（A，B）（3-3） 其中，H（A）=-EA（log（P（A）。 优点是匹配算法对光照的改变不灵敏；缺点是计算量大，并且要求图像间的重叠区域比较大。 （4）傅立叶相关算法 假设待匹配的参考图像I1（x，y）和输入图像I2（x，y）的傅立叶变换

6、是F1（U，V）与F2（U，V）。如果这两幅图像之间存在一个平移变量（m，n），它们之间的数学关系可以用下式表示： I1（x，y）=I2（x-m，y-n）（3-4） 相应的，它们对应的傅立叶变换存在下列关系： F1（U，V）=e-j （mu+nj）F2（U，V）（3-5） 从式（3-4）和式（3-5）可以看出：当两幅待匹配的图像之间只存在平移关系时，它们对应的傅立叶变换的幅值具有相同的值；当待匹配的两幅图像只存在一个相位差时，相位差的功率谱可以表示为： =ej （um+vn）（3-6） 式（3-6）中*是复共轭的运算符号。再对式（3-6）作傅立叶反变换，同大多数频域匹配算法一样之处在于，由于涉

7、及了空间域和频域的相互转换，因此这种情况相对复杂。虽然匹配也能达到比较高的精度，但它对两幅待匹配图像之间的几何变形和辐射畸变都有比较高的要求，基于以上的分析可以看出，傅立叶变换应用的范围相对来说较窄。 2.基于图像特征的匹配算法 鉴于上述图像灰度相关匹配算法的不足之处，人们提出了一种新的算法，即基于特征的匹配算法。其算法是提取各类图像中在各种情况下都能够保持不变的特征。 图像特征匹配可以理解为在提取的特征点之间用某种映射来建立某种对应关系的过程。即设在图像A中提取出来的特征点数为m个，在图像B中提取出来的特征点数有n个，并且m不等于n。其中，k是待匹配图像共同拥有的特征点个数，则特征匹配要解决

8、的问题就是如何确定图像A和图像B中这k对对应的点。 几种常用的匹配方法，它们分别是关于图像的Hausdorff距离匹配法、金字塔小波匹配方法、最小均方误差法等。 （1）Hausdorff距离匹配算法 Hausdorff距离匹配算法反映的是两个集合之间的关系，它的定义通常是指待匹配图像的两个点集之间的最小距离或者是两个点集的最大距离。假设两个有限点集为A=a1，a2，ap与B=b1，b2，bp。那么这两个点集A、B之间的Hausdorff距离为： H（A，B）=max（h（A，B），h（A，B）（3-7） 其中，h（A，B）= |a-b|，| |称为某种距离的范数。若h（A，B）=d，则在点集A

9、中的每一个点到点集B中的距离至少存在有一个点的距离不大于d，并且点集A中至少有一个点，这个点的距离恰好等于d。那么这些点就称为最不匹配的点，从而被舍去。由此可见，Hausdorff距离衡量的是两幅待匹配图像的两个点集的不相似程度。当然它也可以衡量两个点集的相似程度，当它作为相似性度量时，它的最小值就为匹配的最好位置。图像的Hausdorff距离算法与其他二值图像匹配算法不同的是：它不要求待匹配图像中的匹配点对是一一对应的，点集A中可以有一个或者是多个点与点集B中的同一个点对应。它的优点是图像匹配速度快、匹配精度高。其缺点是当两幅待匹配的图像之间存在旋转问题时，它的克服噪声的能力就比较差了。尤其

10、是当两幅待匹配图像之间的旋转角度大于3-5时，两幅图像的匹配准确率就大大下降了，匹配出来的结果有时甚至是错误的。此外，图像的Hausdorff距离利用的是特征匹配算法，如果提取出来的特征点不是很明显时，也无法很好地解决图像的匹配问题。 （2）金字塔小波匹配算法 图像的金字塔小波匹配算法的另一个名字叫做图像的分层匹配算法，它是根据人们先粗后细搜索事情的习惯逐步形成的。它可以分为以下几步：第一步，对待匹配的图像要先进行分层预处理，在尺寸最小的图像处或者分辨率最低的图像上进行全局搜索，快速准确地找到待匹配图像的特征点；第二步，以第一步匹配的结果为出发点，在较大尺寸的图像上对少数有可能匹配的位置上进行

11、匹配；以此类推，最后一步就找到了图像之间真正要匹配的那些特征点。金字塔小波匹配算法的优点是：计算量较少，计算的速度就会比较高。但有一个前提条件就是提取出来的特征点必须是稳定的，即具有较好的鲁棒性。但在实际提取的过程中，具有这样特点的特征点集合很难被提取到。因此，金字塔小波匹配算法的应用在一定程度上受到了限制。 （3）最小均方误差匹配算法 最小均方误差匹配算法是利用待匹配图像之间相互对应的特征点来进行的，通过对应特征点的变换方程求解过程来计算图像间的变换参数。如果两幅待匹配图像之间存在这样的仿射变换（x，y）（x，y），则它们的变换方程为： xy=sxycosx sinx-sinx cosx+t

12、xty =x y 1 0y -x 0 1（ssinx s cosx tx ty）T（3-8） 其中，用向量=（ssinx scosx tx ty）T来表示仿射变换参数，所以对于给定的n对对应的特征点（n3）构造出相应的点坐标矩阵为： Y=（x1y1 xnyn）T X=x1 y1 1 0y1 -x1 0 1 xn yn 1 0yn -xn 0 1（3-9） 利用最小均方误差的原理来求出ET=（Y-X）T（Y-X），从而得到相应的参数向量，它的方程为=（XTX）-1XTY。 总之，每种算法都有其优点和不足之处，具体选择哪种算法还需要根据具体情况而定。 参考文献： 1郭雷，李晖晖.图像融合M.北京：

13、电子工业出版社，2008. 2郑志杉，叶中付.基于相位相关的图像匹配算法J.数据采集与处理，2006，vol21（4）. 3李小明，赵训坡.基于Fourier-Mellin变换的图像配准方法及应用拓展J.计算机学报，2006，vol23（9）. 4comaniciu D Ramesh V，meer P.Kerner-based object tracking.IEEE Transection on Fatter Analysis and Machine Intelligence，2003：337-340. 5Daubechies I.The wavelet transform time-fre

14、quency localization and signal analysis. IEEE Transaction on information treory，1990，vol36（5）：961-1004. 6D.Comaniciu and P.Meer，Meanshift：A Robust Approach Toward Feature space Anysiss. IEEE Trans.Pattern Analysis and Machine Intelligence，2002，vol（24）. 7F Schaffalitzky，A Zisserman.Viewpoint invariant texture matching and wide baseline stcreo.IEEE，200l. 8Raymond van Ee，CliRon M Schor.Unconstrained stereoscopic matching of lines.Vision Research，2000（40）：151-162. 9S J D Prince，R D Eagle.Weighted directional energy model for human stereo correspondence.Vision Research，2001（13）：41-52. 编辑 王梦玉