图像识别匹配技术原理要点.docx

1、图像识别匹配技术原理要点第 1章 绪论1.1研究背景及意义数字图像，又称数码图像或数位图像，就是二维图像用有限数字数值像素得 表示。通常，像素在计算机中保存为二维整数数组得光栅图像 , 这些值经常用压缩格式进行传输与储存。数字图像可以由许多不同得输入设备与技术生成，例如 数码相机、扫描仪、坐标测量机等 , 也可以从任意得非图像数据合成得到，例如 数学函数或者三维几何模型，三维几何模型就是计算机图形学得一个主要分支。 数字图像处理领域就就是研究它们得变换算法。数字图像处理（Digita 1 Image P rocessin g）就是通过计算机对图像进行去 除噪声、增强、复原、分割、提取特征等处理

2、得方法与技术。数字图像处理得产 生与迅速发展主要受三个因素得影响：一就是计算机得发展 ; 二就是数学得发展 （特别就是离散数学理论得创立与完善） ; 三就是广泛得农牧业、林业、环境、 军事、工业与医学等方面得应用需求得增长。图像配准（Image r e gistrati on）就就是将不同时间、不同传感器（成像设 备）或不同条件下（天候、照度、摄像位置与角度等）获取得两幅或多幅图像进 行匹配、叠加得过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像 处理等领域 .图像配准得方法迄今为止 , 在国内外得图像处理研究领域，已经报道了相当 多得图像配准研究工作 ，产生了不少图像配准方法 .总得

3、来说 ,各种方法都就是面 向一定范围得应用领域 , 也具有各自得特点。比如计算机视觉中得景物匹配与飞 行器定位系统中得地图匹配 , 依据其完成得主要功能而被称为目标检测与定位， 根据其所采用得算法称之为图像相关等等。基于灰度信息得图像配准方法一般不需要对图像进行复杂得预先处理 ,而就 是利用图像本身具有灰度得一些统计信息来度量图像得相似程度 。主要特点就是 实现简单，但应用范围较窄，不能直接用于校正图像得非线性形变 ,在最优变换 得搜索过程中往往需要巨大得运算量。经过几十年得发展 ,人们提出了许多基于灰度信息得图像配准方法，大致可以分为三类 :互相关法（也称模板匹配法） 、序 贯相似度检测匹配

4、法、交互信息法。目前主要图像配准方法有基于互信息得配准方法， 基于相关性得配准方法与 基于梯度得配准方法。 其中基于梯度得方法基本很少单独使用， 而作为一个辅助 性得测度与其它方法相结合起来使用。 基于灰度得配准算法就是医学图像配准研 究得发展方向 , 也就是目前研究得热点之一。基于灰度得配准方法与基于特征得 配准方法得区别在于前者没有提取图像特征得步骤， 直接对图像中得灰度进行处 理。基于灰度得配准方法计算复杂度高、对图像得灰度、旋转、形变以及遮挡都 比较敏感。灰度相关得配准方法就是从待拼接图像得灰度值出发 , 图像拼接故而成为灰 度相关得配准算法得一个基础。图像拼接(im a ge mo

5、saic)技术就是将一组相 互间重叠部分得图像序列进行空间匹配对准 , 经重采样合成后形成一幅包含各图 像序列信息得宽视角场景得、完整得、高清晰得新图像得技术 . 图像拼接在摄影 测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着 广泛得应用价值。灰度相关得图像配准算法在图像处理技术中起着十分关键得作用 , 它就是图像处理技术得以发展得一个重要基础。 它推动着图像处理技术在医学、 生物、信 息处理与其她很多高科技领域内得应用， 它已渐渐发展成社会生活中不可分离得 一种技术，对于图像处理技术发展及应用具有重要意义。1.2图像配准方法概述配准技术得流程如下：首先对两幅图像进行特

6、征提取得到特征点 ; 通过进行 相似性度量找到匹配得特征点对； 然后通过匹配得特征点对得到图像空间坐标变 换参数：最后由坐标变换参数进行图像配准。 而特征提取就是配准技术中得关键 , 准确得特征提取为特征匹配得成功进行提供了保障。 因此，寻求具有良好不变性 与准确性得特征提取方法，对于匹配精度至关重要。图像配准得方式可以概括为相对配准与绝对配准两种： 相对配准就是指选择 多图像中得一张图像作为参考图像，将其它得相关图像与之配准，其 坐标系统 就 是任意得。绝对配准就是指先定义一个控制 网格 ，所有得图像相对于这个网格来 进行配准，也就就是分别完成各分量图像得几何校正来实现坐标系得统一。 本文

7、主要研究大幅面多图像得相对配准， 因此如何确定多图像之间得配准函数映射关 系就是图像配准得关键。通常通过一个适当得多项式来拟合两图像之间得平移、 旋转与仿射变换 , 由此将图像配准函数映射关系转化为如何确定多项式得系数 , 最终转化为如何确定配准控制 .目前，根据如何确定得方法与图像配准中利用得图像信息区别可将图像 配准方法分为三个主要类别 : 基于灰度信息法、变换域法与基于特征法，其 中基于特征法又可以根据所用得特征属性得不同而细分为若干类别。以下 将根据这一分类原则来讨论目前已经报道得各种图像配准方法与原理。1.3研究现状国外从20世纪6 0年代就开始在图像配准领域进行研究，但直到1 9

8、8 0年 代才开始引起学者们得关注。 到上世纪末， 单模图像配准问题已基本解决， 但多 模图像配准由于涉及模式与领域得复杂性 , 仍需密切关注。国际上对图像配准技 术曾做过调查,其结论就是199 0年代初技术就明显增加。而国内从1990年代初 才开始涉足此领域 . 与灰度相关得图像配准算法就是图像配准算法中比较经典得 一种 , 很多配准技术都以它为基础进行延伸与扩展。针对多光谱遥感图像 , 提出了一种基于局部灰度极值得配准方法 : 通过在基 准图像与待配准图像中同步寻找含有灰度极值得小区域 , 再用多项式对极值区域 进行曲面拟合， 最后，分别计算小区域得极值点作为特征点进行配准。 并用真实 与

9、模拟多光谱图像进行了试验结果显示该课题提出具有算法简单与配准精度高 得特点。这就是与灰度相关图像配准算法有关得一个扩展应用。1.4研究问题及内容本文在分析了灰度相关得图像配准算法中得线匹配法、 比值匹配法与块匹配 法,利用这三种方法分别实现两幅图像在水平垂直位移上得配准，而本课题研究 得内容就是提出一种基于灰度相关得算法 ,不仅能实现两幅图在水平与垂直位移 得配准 ,同时也能实现在绕光轴旋转情况下得图像配准。这里提出了一种方法， 多尺度模块匹配法 .在这三种匹配得环境下 ,它能实现水平垂直位移上得匹配、 缩 放以及旋转.同时通过在Ma t lab编程环境下编程实现相关算法，通过实际图像得 配准

10、试验 , 利用这些结论最终得到精确地配准结果。第 2章 图像配准基本理论2.1图像配准得基本介绍2.1.1图像配准得描述图像配准就是对取自不同时间 , 不同传感器或不同视角得同一场景得两幅图 像或者多幅图像匹配得过程 . 图像配准广泛用于多模态图像分析，就是医学图像 处理得一个重要分支， 也就是遥感图像处理 , 目标识别，图像重建, 机器人视觉等 领域中得关键技术之一， 也就是图像融合中要预处理得问题， 待融合图像之间往 往存在偏移、 旋转、比例等空间变换关系， 图像配准就就是将这些图像变换到同 一坐标系下，以供融合使用。2.1.2图像配准得定义对于二维图像配准可定义为两幅图像在空间与灰度上得

11、映射 4，如果给定尺 寸得二维矩阵与代表两幅图像，与分别表示相应位置上得灰度值 , 则图像间得映 射可表示为：，式中表示一个二维空间坐标变换，即，且就是一维灰度变换 .2.1.3图像配准得步骤图像配准得基本过程可以分为三个步骤： 第一步就是为每一个图像信息模式 各定义一个坐标系， 然后再定义这些参考特征之间得失调或相似函数； 第二步就 是分割出图像得参考特征 , 再定义这些参数特征之间得失调或相似函数；第三步 就是应用优化算法，使第二步中失调（相似）函数达到全局最小（最大 ） 值，达到两幅图像得配准。其中参考特征与对应优化算法得选择就是配准得核心 , 也就 是不同配准算法得差异所在。2.2图像

12、配准得相关概念2.2.1 配准基准通常，图像配准中根据配准基准得特性 ,可分为基于外部基准得配准与基于 内部基准得配准 5，外部基准就是指强加于待配准对象得各种人造标记，这些 标记必须在各种配准模式中都清晰可见且可准确检测到。 内部基准就是指由图像 本身得到得位置相对固定且图像特征明晰得各种配准标识。2.2.2 映射变换与配准区域设与表示两幅待匹配得图像， 与分别表示两幅图像得密度函数， 其中与分别 表示在图像与中得像素坐标 . 图像匹配就就是要找到一个把图像映射到图像得变 换，使得变换后得图像与具有几何对应性。 这种映射变换有刚体变换、 仿射变换、 投影变换以及曲线变换等。 配准时得变换区域

13、根据实际需要又分为局部配准与全 局配准。局部变换一般很少直接使用，因为它会破坏图像得局部连续性 , 且变换 得双映射性会影响图像得再采样。从近期关于图像配准方面得文章瞧 , 一般刚性 与仿射多用于全局变换，而曲线变换多用于局部变换。2.2.3配准得交互性与优化根据人得参与程序配准又可分为全自动式， 交互式与半自动式三种。 全自动 式中使用者仅需给相应算法提供图像数据以及图像获取得一些可能信息； 交互式 中使用者必须亲自进行配准， 软件仅给目前变换提供一个可视得或数字得感官印 象以及初始变换得一个可能参数； 半自动式中， 交互式有两种方式： 一种就是使 用者须初始化算法 ,如分割数据，另一种就是

14、指导算法 , 如拒绝或接受配准假设 .配准变换得参数可以就是直接计算出得 , 也可以就是搜索计算出得。直接计 算得最优化方法一般已完全由实例决定 , 所能研究得工作也仅限于如何使用非常 少得信息把此计算方法应用于实际。 搜索计算得最优化方法大多都可以用待优化 得变换参数得一个标准数学函数来表达配准实例， 此函数力图使图像在某一变换 时两幅图像可达到最大相似。 这些函数通常在单模配准中能简单一些， 因为此时 图像得相似性更能容易直接定义。 我们可以通过使用一个标准得、 合适得最优化 方法使相似函数达到最优。目前应用比较广泛得方法有 Po well得方法、Dow nhi 1 l S impl ex

15、方法、Br e nt得方法以及一系列一维搜索算法、 Levenberg Marqua r dt最优化算法、Newt o nR ap h son迭代算法、s to chastic搜索算法、梯度下降法(g r adien t de see nt m e th o ds)、遗传算法(gen etic meth o d s)、模拟退火 法(sim ulated ann eal ing)，粒子群算法(partiee sw orm),蚁群算法(a n t),几何 散列法(geomet r i e has hing)。多分辨率(如金字塔)与多尺度方法可以加 速最优化得收敛速度。许多实际应用中使用了不止一种最

16、优化方法 , 一般就是先 使用一种粗糙但快速得算法，然后再接着使用一种准确但运算速度慢得算法2.2.4图像成像模式与配准方法得分类有单模式与多模式等，单模(m on omo da lity )图像配准就是指待配准得 两幅图像就是同一种成像设备获取得。多模 (mul timod alit y)图像配准就是指待配准得两幅图像来源于不同得成像设备。 基于灰度信息得图像配准方法 一般不需要对图像进行复杂得预先处理 ,而就是利用图像本身具有灰度得一些统 计信息来度量图像得相似程度。主要特点就是实现简单 , 但应用范围较窄，不能 直接用于校正图像得非线性形变 ，在最优变换得搜索过程中往往需要巨大得运算 量

17、。经过几十年得发展 , 人们提出了许多基于灰度信息得图像配准方法，大致可 以分为三类：互相关法 (也称模板匹配法 )、最大互信息法与基于小波变换得图像 配准法.(1)互相关法对于同一物体由于各种图像获取条件得差异或物体自身发生得空间位 置得改变而产生得单模图像配准问题常常应用互相关法。在互相关法中互 相关值得大小反映了配准得效果。互相关法得思路就是找出使各图像之间 相关性最大得空间变换参数来实现图像得配准。该方法通过优化两幅图像 间得相似性测度来估计空间变换参数 ( 刚体得平移与旋转参数 ), 采用得相 似性测度可以就是多种多样得，例如相关系数 , 差值得平方与及相关函数等。其中最经典得相似性

18、测度就是归一化得相关系数( correlatio n coeff i cient , C C ), 即:, (2、 1)式中，为模板图像， , 为图像得灰度 ; 为与有相同大小得目标图像 , 为图像得 灰度 ; 与分别为图像与灰度得均方值。由于要对每种变换参数可能得取值都 要计算一次相似性测度 , 互相关法得计算量比较庞大 , 因此近年来发展了快 速搜索算法 , 例如 , 用相位相关傅立叶法估算平移与旋转参数 ; 用遗传算法 与模拟退火技术减少搜索时间与克服局部极值问题 .尤其注意得就是互相关法受到不同模态成像特点得影响， 例如同一物体在不 同得模态图像中表现出纹理与密度得非线性差异 , 使相

19、关性计算无意义，故互相 关性法主要局限于单模图像配准 7。对于条件不好或曲线不完全闭合得图像配 准,Ka neko等提出了一种选择性相关系数法(selective c orrel a t io n coe ff icient，即)，实际上就是得扩展，在每次为其计算时间仅仅依靠两幅图像灰 度得比较过程，故其代价非常小甚至可以忽略不计 .最大互信息法 (Maxim i za t i o n of Mutual In fo r m a tion )互信息就是信息论得一个基本概念，就是两个随机变量统计相关性得测度。最大互信息法几乎可以用在任何不同模式图像得配准， 特别就是当其中一个图像得数据部分缺损时

20、也能得到很好得配准效果。当含有相同内容得两幅图像通过几 何变换在空间对齐时，它们所包含得灰度值得互信息量最大。因此最大化得互信 息量可以作为图像配准准则。基于最大互信息得配准过程实质上就是搜索最佳得几何变换参数，使两幅 图像得互信息达到最大。该方法采用整幅图像得所有像素共同组成特征空间，再 根据特征空间确定一种空间变换，使一幅图像经过该变换后与另一幅图像得互信 息最大，最终实现配准。互信息（Mu tua 1 In format i on，Ml）就是信息论中得一个测度，用于描 述两个变量间得统计相关性，或一个变量中包含得另一个变量中得信息得多少， 表示两个随机变量之间得依赖程度，一般用熵来表示。

21、熵表达得就是一个系数得 复杂性与不确定性变量A得熵定义为：, （2、2）， （2、3）将待配准得两幅医学图像定义为浮动图像 A与参考图像B,它们就是关于图像灰度得两个随机变量集 设它们得边缘概率分布分别为、 ，联合概率 分布，则它们得互信息为 ：(2、4)当两幅图像得空间位置达到一致时，其中一幅图像表达另一幅图像得信息，即其互信息应为最大。继互信息测度提出后，学者们对基于S hannon熵得方法做了进一步得研究 ,相继提出了比互信息更为稳定得 ,其它一些形式得熵测度， 称为 归一化得互信息，例如 Studholme提出了归一化互信息测度 (nr i m al izedmutual inform

22、ation， )：, (2、 5)(3) 基于小波得图像配准方法近年来图像配准得重要发展之一就是采用小波变换进行图像局部特征提取， 该方法得关键技术就是二维离散小波分解。 设在平面内得二维图像， 基于二维离 散小波变换得图像分解就是将该原始图像在某一尺度上分别在方向上进行小波 分解，每次分解后得低频部分用表示 , 高频部分用表示。在某一尺度上，图像可以经过方向与方向得离散小波变换后分解为 4 个子图 像，在方向与方向都就是高频子图像，在方向就是低频 , 在方向就是高频子图像 与在方向就是高频方向就是低频得子图像。 低频子图像给出了原图像得概貌， 高 频子图像给出了原图像得细貌。对于二维正交小波

23、变换有其快速算法 Mall at 算法, 它把小波变换得计 算问题转化为小波变换后系数得计算问题：在实际操作中 , 给出尺度层上得离散 采样值数据，要计算尺度层上得小波变换系数 , 即分解算法得问题。基于小波变 换得图像配准方法有多分辨率分析得优势 , 能够提高配准得速度。2.3灰度相关得配准方法基于灰度信息得图像配准方法一般不需要对图像进行复杂得预先处理， 而就 是利用图像本身具有灰度得一些统计信息来度量图像得相似程度。 主要特点就是 实现简单 ,但应用范围较窄， 不能直接用于校正图像得非线性形变 , 在最优变换得 搜索过程中往往需要巨大得运算量。经过几十年得发展 , 人们提出了许多基于灰

24、度信息得图像配准方法，大致可以分为三类：互相关法(也称模板匹配法 ) 、序贯相似度检测匹配法、交互信息法。互相关法就是最基本得基于灰度统计得图像配准 9方法，通常被用于进行模 板匹配与模式识别。它就是一种匹配度量 , 通过计算模板图像与搜索窗口之间得 互相关值 ,来确定匹配得程度 , 互相关值最大时得搜索窗口位置决定了模板图像 在待配准图像中得位置。序贯相似度检测匹配法(S equen t i al S i mi l ar ity Det ec ti on Al gori t hms,)就是由Ea rn ea等人提出来得。方法得最主要得特点就是处理 速度快。该方法先选择一个简单得固定门限 ,

25、若在某点上计算两幅图像残差与得 过程中,残差与大于该固定门限， 就认为当前点不就是匹配点 ,从而终止当前得残 差与得计算 , 转向别得点去计算残差与 , 最后认为残差与增长最慢得点就就是匹 配点. 这种方法得基本思想就是基于对误差得积累进行分析。所以对于大部分非 匹配点来说 , 只需计算模板中得前几个像素点，而只有匹配点附近得点才需要计 算整个模板。 这样平均起来每一点得运算次数将远远小于实测图像得点数， 从而 达到减少整个匹配过程计算量得目得。交互信息法最初就是V I ol a等人于19 9 5年把交互信息引入到图像配准得 领域得，它就是基于信息理论得交互信息相似性准则 . 初衷就是为了解决

26、多模态 医学图像得配准问题 .交互信息用来比较两幅图像得统计依赖性 . 首先将图像得灰度视作具有独立 样本得空间均匀随机过程， 相关得随机场可以采用高斯马尔科夫随机场模型建 立,用统计特征门0：概率密度函数来描述图像得统计性质交互信息就是两个随机 变量与之间统计相关性得量度，或就是一个变量包含另一个变量得信息量得量 度。交互信息图像配准方法一经提出， 有不少基于此类得研究， 尤其在医学图像 得配准问题上。 比如将交互信息与梯度结合起来改善其极值性能得算法、 多分辨 率图像金字塔法等等。但交互信息就是建立在概率密度估计得基础上得 , 有时需 要建立参数化得概率密度模型，它要求得计算量很大 , 并

27、且要求图像之间有很大 得重叠区域 , 由此函数可能出现病态，且有大量得局部极值。本文接下来将要陈述灰度相关得几种配准方法 , 大致可分为： 线匹配法、比值 匹配法与块匹配法。 比值匹配法就是指将待配准图像得一定间隔得行或列得像素 得比值作为模板；块匹配法就是指将待配准图像得正方形区域得像素得集合作为 模板。比值匹配法就是从一幅图像得重叠区域中部分相邻得两列上取出部分像 素，然后以它们得比值作为模板，在另一幅图像中搜索最佳匹配 , 这种算法计算 量较小, 但精度低 ; 块匹配法就是以一幅图像重叠区域中得一块作为模板， 在另一 幅图像中搜索与此模板最相似得匹配块 ,这种算法精度较高，但计算量过大。

28、而 设计一种基于灰度相关得算法， 既能实现水平、 垂直位移上得配准， 同时也能实 现绕光轴旋转这种情况就是本文得核心 .第 3章 线匹配法3.1线匹配法基本介绍及原理针对图像得平移、 旋转、尺度变换等整体匹配， 提出了一种图像线性变换得 匹配算法门卩。首先定义待匹配图像匹配点间得线性变换模型，以对应像素灰度 差平方与作为图像匹配误差函数，然后借助最小化误差函数确定参数迭代增量， 由迭代法求得最佳线性变换参数。 为减少计算量与提高收敛速度提出了三种改进 策略：增加权函数、图像网格点采样与增加加速运动量 . 实验显示对于小范围平 移、旋转及尺度变换得图像能进行准确快速得整体匹配， 而改进策略能有效

29、提高 匹配速度 .3.2线性变换图像匹配模型令待匹配得两幅二维图像为与 , 两幅图像中任意一对匹配点得坐标满足线性 变换关系 .令图像中某一坐标为 , 它与图像中得坐标对应 . 上式中上标表示转置运 算。坐标与之间存在一个偏移量 ,定义如下 :（3、1）（3、2） （3、 3） 因此坐标变换可以表示为 ,即像素与对应。3.3线匹配法具体得算法实现如果给定条件，两幅图像内容整体间存在某种线性变换 , 则通过求解变换系 数能实现配准 .这对很多问题就是一种合理假设 .基于这一思想 ,为解决图像整体 匹配问题 ,本文针对图像得平移、 旋转、尺度变换等整体匹配 ,提出一种带 6个参 数得坐标线性变换图

30、像匹配新模型，该模型将匹配误差定义为图像整体误差 , 通 过最小化误差函数确定参数迭代增量 , 由迭代法求得最佳线性变换参数。并且针 对收敛速度提出了增加权函数、 图像网格点采样与增加加速动量项三种策略及具 体实现方法。（1）误差函数及参数求解算法图像匹配得误差函数定义为：该公式中领域与图像得分辨率一致。这种领域设置与光流模型得领域设置存 在显著不同， 它对噪声更不敏感。 通过最小化误差函数可以求出变换参数， 它决 定各像素得偏移量为建立迭代求解模型，引入增量 , 代入式 （3、1）得到, 新得模 型如下:（3、5） （3、6）为求解增量 , 上述函数需要对求偏导 . 一种可行方法就是将函数一

31、阶泰勒展 开:（3、 7） 上式中点号表示积 . 将（3、 7）代入 （3、 6） ,对求偏导，并令偏导为零 , 则得 到下式:（ 3、 8） 上式中表示，它用图像F中坐标X+T处得灰度梯度近似。表示六维列向量。 求只需对方程（ 3、 8）乘以得逆矩阵即可。（2 ）迭代方法求解变换参数求解图像与图像间得匹配 , 可以用增量迭代法计算变换参数向量 , 算法如下:1初始化向量为零向量 ;2按式（3、8）计算参数增量；3更新参数；4如果得二范数小于某一阈值， 则表示迭代收敛， 程序退出 ;若大于该阈值则 转到步骤继续迭代； 如果迭代次数超过最多限定次数则程序退出 , 提示不收敛 . 判断收敛得条件也

32、可设置为最近次迭代得二范数之与小于某一阈值， 得典型取值 为3。3.4实验结果与分析首先利用配准图像库中得图像， 生成具有不同相对位移得子图像 ; 平移配准参 数可以在程序中进行调整，图3、 1及图3、2为配准参数为时生成一对尺寸为400 X 4 0 0得两幅图像。图3、1 Lena参考图像 图3、2 L e n a待配准图像图3、3及图3、4为配准参数为时生成尺寸为288X 28 8得两幅图像图 3、3 Len a图 3、5及图 3、6为配准参数为生成尺寸为456X 45 6得两幅图像图3、5 Le na参考图像 图3、6 Lena 待配准图像图3、 7为采用线模板匹配方法得实验结果。黑色线段表示选取得线模板, 连线表示线段两端点为匹配点对。图3、7 Le n a线匹配效果图由实验可知，线模板匹配就是在参考图像中选定一行上取出部分像素得灰度 值，在搜索图中搜索最佳匹配 . 线匹配法得优点就是精确直观，缺点就是操作复 杂,重复步骤较多 ,实用性不强 .它只能处理简单得平移变换下得图像配准