图像识别匹配技术原理.docx

1、图像识别匹配技术原理第1章绪论1.1研究背景及意义数字图像，又称数码图像或数位图像，是二维图像用有限数字数值像素的表 示。通常，像素在计算机中保存为二维整数数组的光栅图像，这些值经常用压缩 格式进行传输和储存。数字图像可以由许多不同的输入设备和技术生成，例如数 码相机、扫描仪、坐标测量机等，也可以从任意的非图像数据合成得到，例如数 学函数或者三维几何模型，三维几何模型是计算机图形学的一个主要分支。数字 图像处理领域就是研究它们的变换算法。数字图像处理（Digital Image Process in g）是通过计算机对图像进行去除噪 声、增强、复原、分害IJ、提取特征等处理的方法和技术。数字图

2、像处理的产生和 迅速发展主要受三个因素的影响：一是计算机的发展；二是数学的发展（特别是离 散数学理论的创立和完善）；三是广泛的农牧业、林业、环境、军事、工业和医学 等方面的应用需求的增长。图像配准（Image registration）就是将不同时间、不同传感器（成像设备）或不同 条件下（天候、照度、摄像位置和角度等）获取的两幅或多幅图像进行匹配、叠加 的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。图像配准的方法迄今为止，在国内外的图像处理研究领域，已经报道了相当 多的图像配准研究工作，产生了不少图像配准方法。总的来说，各种方法都是面 向一定范围的应用领域，也具有各自的

3、特点。比如计算机视觉中的景物匹配和飞 行器定位系统中的地图匹配，依据其完成的主要功能而被称为目标检测与定位， 根据其所采用的算法称之为图像相关等等。基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是 利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是实现 简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜 索过程中往往需要巨大的运算量。经过几十年的发展，人们提出了许多基于灰度 信息的图像配准方法，大致可以分为三类：互相关法（也称模板匹配法） 、序贯相似度检测匹配法、交互信息法。目前主要图像配准方法有基于互信息的配准方法， 基于相关性的配准方法

4、和基于梯度的配准方法。其中基于梯度的方法基本很少单独使用，而作为一个辅助 性的测度与其它方法相结合起来使用。基于灰度的配准算法是医学图像配准研究 的发展方向，也是目前研究的热点之一。基于灰度的配准方法与基于特征的配准 方法的区别在于前者没有提取图像特征的步骤，直接对图像中的灰度进行处理。 基于灰度的配准方法计算复杂度高、 对图像的灰度、旋转、形变以及遮挡都比较 敏感。灰度相关的配准方法是从待拼接图像的灰度值出发，图像拼接故而成为灰度 相关的配准算法的一个基础。图像拼接(image mosaic)技术是将一组相互间重叠 部分的图像序列进行空间匹配对准，经重采样合成后形成一幅包含各图像序列信 息的

5、宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、 计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应 用价值。灰度相关的图像配准算法在图像处理技术中起着十分关键的作用， 它是图像处理技术得以发展的一个重要基础。 它推动着图像处理技术在医学、 生物、信息 处理和其他很多高科技领域内的应用，它已渐渐发展成社会生活中不可分离的一 种技术，对于图像处理技术发展及应用具有重要意义。1.2图像配准方法概述配准技术的流程如下：首先对两幅图像进行特征提取得到特征点； 通过进行 相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变 换参数：最后由坐标变换参

6、数进行图像配准。而特征提取是配准技术中的关键， 准确的特征提取为特征匹配的成功进行提供了保障。 因此，寻求具有良好不变性和准确性的特征提取方法，对于匹配精度至关重要。图像配准的方式可以概括为相对配准和绝对配准两种：相对配准是指选择多 图像中的一张图像作为参考图像，将其它的相关图像与之配准，其 坐标系统是任意的。绝对配准是指先定义一个控制 网格，所有的图像相对于这个网格来进行配 准，也就是分别完成各分量图像的几何校正来实现坐标系的统一。 本文主要研究大幅面多图像的相对配准，因此如何确定多图像之间的配准函数映射关系是图像 配准的关键。通常通过一个适当的多项式来拟合两图像之间的平移、 旋转和仿射变换

7、，由此将图像配准函数映射关系转化为如何确定多项式的系数， 最终转化为如何确定配准控制RCP。目前，根据如何确定RCP的方法和图像配准中利用的图像信息区别可将 图像配准方法分为三个主要类别：基于灰度信息法、变换域法和基于特征 法，其中基于特征法又可以根据所用的特征属性的不同而细分为若干类别。以下将根据这一分类原则来讨论目前已经报道的各种图像配准方法和原 理。1.3研究现状国外从20世纪60年代就开始在图像配准领域进行研究，但直到 1980年代 才开始引起学者们的关注。到上世纪末，单模图像配准问题已基本解决，但多模 图像配准由于涉及模式和领域的复杂性， 仍需密切关注。国际上对图像配准技术 曾做过调

8、查，其结论是1990年代初技术就明显增加。而国内从1990年代初才开 始涉足此领域。与灰度相关的图像配准算法是图像配准算法中比较经典的一种， 很多配准技术都以它为基础进行延伸和扩展。针对多光谱遥感图像，提出了一种基于局部灰度极值的配准方法： 通过在基 准图像和待配准图像中同步寻找含有灰度极值的小区域， 再用多项式对极值区域进行曲面拟合，最后，分别计算小区域的极值点作为特征点进行配准。 并用真实和模拟多光谱图像进行了试验结果显示该课题提出具有算法简单和配准精度高 的特点。这是与灰度相关图像配准算法有关的一个扩展应用。1.4研究问题及内容本文在分析了灰度相关的图像配准算法中的线匹配法、比值匹配法和

9、块匹配 法，利用这三种方法分别实现两幅图像在水平垂直位移上的配准， 而本课题研究的内容是提出一种基于灰度相关的算法，不仅能实现两幅图在水平和垂直位移的 配准，同时也能实现在绕光轴旋转情况下的图像配准。 这里提出了一种方法，多尺度模块匹配法。在这三种匹配的环境下，它能实现水平垂直位移上的匹配、 缩 放以及旋转。同时通过在Matlab编程环境下编程实现相关算法，通过实际图像的 配准试验，利用这些结论最终得到精确地配准结果。第2章图像配准基本理论2.1图像配准的基本介绍2.1.1 图像配准的描述图像配准是对取自不同时间，不同传感器或不同视角的同一场景的两幅图像 或者多幅图像匹配的过程。图像配准广泛用

10、于多模态图像分析，是医学图像处理 的一个重要分支，也是遥感图像处理，目标识别，图像重建，机器人视觉等领域 中的关键技术之一，也是图像融合中要预处理的问题，待融合图像之间往往存在 偏移、旋转、比例等空间变换关系，图像配准就是将这些图像变换到同一坐标系 下，以供融合使用。2.1.2 图像配准的定义对于二维图像配准可定义为两幅图像在空间和灰度上的映射 4，如果给定尺 寸的二维矩阵F1和F2代表两幅图像，F1(X,Y)和F2(X,Y)分别表示相应位置 (X,Y)上的灰度值，则图像间的映射可表示为：F2(X,Y) G(F1(H (X,Y),式中 H表示一个二维空间坐标变换，即(X,Y) H(X,Y)，且

11、G是一维灰度变换。2.1.3 图像配准的步骤图像配准的基本过程可以分为三个步骤：第一步是为每一个图像信息模式各 定义一个坐标系F(X,Y)，然后再定义这些参考特征之间的失调或相似函数；第 二步是分割出图像的参考特征，再定义这些参数特征之间的失调或相似函数； 第三步是应用优化算法，使第二步中失调(相似)函数达到全局最小(最大)值， 达到两幅图像的配准。其中参考特征和对应优化算法的选择是配准的核心， 也是不同配准算法的差异所在。2.2图像配准的相关概念2.2.1 配准基准通常，图像配准中根据配准基准的特性， 可分为基于外部基准的配准和基于 内部基准的配准，外部基准是指强加于待配准对象的各种人造标记

12、，这些标记 必须在各种配准模式中都清晰可见且可准确检测到。 内部基准是指由图像本身得到的位置相对固定且图像特征明晰的各种配准标识。222 映射变换与配准区域设fl和f2表示两幅待匹配的图像，I1(x) I1(x, y)和I2(x) I2(x,y)分别 表示两幅图像的密度函数，其中x (x,y)和x (x, y)分别表示在图像D1和D2 中的像素坐标。图像匹配就是要找到一个把图像 fl映射到图像f 2的变换M (x) (U(x, y),V(x, y)，使得变换后的图像I 3(M (x)和I 2(x)具有几何对应性。这种映射变换有刚体变换、仿射变换、投影变换以及曲线变换等。配准时的变换 区域根据实

13、际需要又分为局部配准和全局配准。局部变换一般很少直接使用，因 为它会破坏图像的局部连续性，且变换的双映射性会影响图像的再采样。从近期 关于图像配准方面的文章看，一般刚性和仿射多用于全局变换，而曲线变换多用 于局部变换。2.2.3 配准的交互性与优化根据人的参与程序配准又可分为全自动式， 交互式和半自动式三种。全自动式中使用者仅需给相应算法提供图像数据以及图像获取的一些可能信息； 交互式中使用者必须亲自进行配准，软件仅给目前变换提供一个可视的或数字的感官印 象以及初始变换的一个可能参数； 半自动式中，交互式有两种方式：一种是使用者须初始化算法，如分割数据，另一种是指导算法，如拒绝或接受配准假设。

14、配准变换的参数可以是直接计算出的， 也可以是搜索计算出的。直接计算的最优化方法一般已完全由实例决定，所能研究的工作也仅限于如何使用非常少的 信息把此计算方法应用于实际。搜索计算的最优化方法大多都可以用待优化的变 换参数的一个标准数学函数来表达配准实例，此函数力图使图像在某一变换时两 幅图像可达到最大相似。这些函数通常在单模配准中能简单一些， 因为此时图像的相似性更能容易直接定义。我们可以通过使用一个标准的、合适的最优化方法 使相似函数达到最优。目前应用比较广泛的方法有 Powell的方法、Downhill Simplex方法、Brent的 方法以及一系列一维搜索算法、Leve nberg-Ma

15、rquardt最优化算法、Newto n-Raph son迭代算法、stochasti(搜索算法、梯度下降法(gradient descent methods、遗传 算法(genetic methods)、模拟退火法 (simulated annealing)，粒子群算法 (partice sworm)，蚁群算法(ant)，几何散列法(geometric hashing。多分辨率(如金字塔) 和多尺度方法可以加速最优化的收敛速度。许多实际应用中使用了不止一种最优 化方法，一般是先使用一种粗糙但快速的算法， 然后再接着使用一种准确但运算速度慢的算法。224 图像成像模式与配准方法的分类有单模式和

16、多模式等，单模(monomodality)图像配准是指待配准的两幅图像 是同一种成像设备获取的。多模(multimodality)图像配准是指待配准的两幅图 像来源于不同的成像设备。基于灰度信息的图像配准方法一般不需要对图像进行 复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似 程度。主要特点是实现简单，但应用范围较窄，不能直接用于校正图像的非线性 形变，在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人 们提出了许多基于灰度信息的图像配准方法，大致可以分为三类：互相关法 (也称模板匹配法)、最大互信息法和基于小波变换的图像配准法。(1)互相关法对于同一物体由于各种图像获取条件的差异或物体自身发生的空间位 置的改变而产生的单模图像配准问题常常应用互相关法。在