图像识别匹配技术原理要点.docx

图像识别匹配技术原理要点.docx

《图像识别匹配技术原理要点.docx》由会员分享，可在线阅读，更多相关《图像识别匹配技术原理要点.docx（22页珍藏版）》请在冰豆网上搜索。

图像识别匹配技术原理要点

第1章绪论

1.1研究背景及意义

数字图像，又称数码图像或数位图像，就是二维图像用有限数字数值像素得表示。

通常，像素在计算机中保存为二维整数数组得光栅图像,这些值经常用压

缩格式进行传输与储存。

数字图像可以由许多不同得输入设备与技术生成，例如数码相机、扫描仪、坐标测量机等,也可以从任意得非图像数据合成得到，例如数学函数或者三维几何模型，三维几何模型就是计算机图形学得一个主要分支。

数字图像处理领域就就是研究它们得变换算法。

数字图像处理（Digita1ImageProcessing）就是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理得方法与技术。

数字图像处理得产生与迅速发展主要受三个因素得影响：

一就是计算机得发展;二就是数学得发展（特别就是离散数学理论得创立与完善）;三就是广泛得农牧业、林业、环境、军事、工业与医学等方面得应用需求得增长。

图像配准（Imageregistration）就就是将不同时间、不同传感器（成像设备）或不同条件下（天候、照度、摄像位置与角度等）获取得两幅或多幅图像进行匹配、叠加得过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域.

图像配准得方法迄今为止,在国内外得图像处理研究领域，已经报道了相当多得图像配准研究工作，产生了不少图像配准方法.总得来说,各种方法都就是面向一定范围得应用领域,也具有各自得特点。

比如计算机视觉中得景物匹配与飞行器定位系统中得地图匹配,依据其完成得主要功能而被称为目标检测与定位，根据其所采用得算法称之为图像相关等等。

基于灰度信息得图像配准方法一般不需要对图像进行复杂得预先处理,而就是利用图像本身具有灰度得一些统计信息来度量图像得相似程度。

主要特点就是实现简单，但应用范围较窄，不能直接用于校正图像得非线性形变,在最优变换得搜索过程中往往需要巨大得运算量。

经过几十年得发展,人们提出了许多基于

灰度信息得图像配准方法，大致可以分为三类:

互相关法（也称模板匹配法）、序贯相似度检测匹配法、交互信息法。

目前主要图像配准方法有基于互信息得配准方法，基于相关性得配准方法与基于梯度得配准方法。

其中基于梯度得方法基本很少单独使用，而作为一个辅助性得测度与其它方法相结合起来使用。

基于灰度得配准算法就是医学图像配准研究得发展方向,也就是目前研究得热点之一。

基于灰度得配准方法与基于特征得配准方法得区别在于前者没有提取图像特征得步骤，直接对图像中得灰度进行处理。

基于灰度得配准方法计算复杂度高、对图像得灰度、旋转、形变以及遮挡都比较敏感。

灰度相关得配准方法就是从待拼接图像得灰度值出发,图像拼接故而成为灰度相关得配准算法得一个基础。

图像拼接（imagemosaic）技术就是将一组相互间重叠部分得图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息得宽视角场景得、完整得、高清晰得新图像得技术.图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛得应用价值。

灰度相关得图像配准算法在图像处理技术中起着十分关键得作用,它就是图

像处理技术得以发展得一个重要基础。

它推动着图像处理技术在医学、生物、信息处理与其她很多高科技领域内得应用，它已渐渐发展成社会生活中不可分离得一种技术，对于图像处理技术发展及应用具有重要意义。

1.2图像配准方法概述

配准技术得流程如下：

首先对两幅图像进行特征提取得到特征点;通过进行相似性度量找到匹配得特征点对；然后通过匹配得特征点对得到图像空间坐标变换参数：

最后由坐标变换参数进行图像配准。

而特征提取就是配准技术中得关键,准确得特征提取为特征匹配得成功进行提供了保障。

因此，寻求具有良好不变性与准确性得特征提取方法，对于匹配精度至关重要。

图像配准得方式可以概括为相对配准与绝对配准两种：

相对配准就是指选择多图像中得一张图像作为参考图像，将其它得相关图像与之配准，其坐标系统就是任意得。

绝对配准就是指先定义一个控制网格，所有得图像相对于这个网格来进行配准，也就就是分别完成各分量图像得几何校正来实现坐标系得统一。

本文主要研究大幅面多图像得相对配准，因此如何确定多图像之间得配准函数映射关系就是图像配准得关键。

通常通过一个适当得多项式来拟合两图像之间得平移、旋转与仿射变换,由此将图像配准函数映射关系转化为如何确定多项式得系数,最终转化为如何确定配准控制.

目前，根据如何确定得方法与图像配准中利用得图像信息区别可将图像配准方法分为三个主要类别:

基于灰度信息法、变换域法与基于特征法，其中基于特征法又可以根据所用得特征属性得不同而细分为若干类别。

以下将根据这一分类原则来讨论目前已经报道得各种图像配准方法与原理。

1.3研究现状

国外从20世纪60年代就开始在图像配准领域进行研究，但直到1980年代才开始引起学者们得关注。

到上世纪末，单模图像配准问题已基本解决，但多模图像配准由于涉及模式与领域得复杂性,仍需密切关注。

国际上对图像配准技术曾做过调查,其结论就是1990年代初技术就明显增加。

而国内从1990年代初才开始涉足此领域.与灰度相关得图像配准算法就是图像配准算法中比较经典得一种,很多配准技术都以它为基础进行延伸与扩展。

针对多光谱遥感图像,提出了一种基于局部灰度极值得配准方法:

通过在基准图像与待配准图像中同步寻找含有灰度极值得小区域,再用多项式对极值区域进行曲面拟合，最后，分别计算小区域得极值点作为特征点进行配准。

并用真实与模拟多光谱图像进行了试验结果显示该课题提出具有算法简单与配准精度高得特点。

这就是与灰度相关图像配准算法有关得一个扩展应用。

1.4研究问题及内容

本文在分析了灰度相关得图像配准算法中得线匹配法、比值匹配法与块匹配法,利用这三种方法分别实现两幅图像在水平垂直位移上得配准，而本课题研究得内容就是提出一种基于灰度相关得算法,不仅能实现两幅图在水平与垂直位移得配准,同时也能实现在绕光轴旋转情况下得图像配准。

这里提出了一种方法，多尺度模块匹配法.在这三种匹配得环境下,它能实现水平垂直位移上得匹配、缩放以及旋转.同时通过在Matlab编程环境下编程实现相关算法，通过实际图像得配准试验,利用这些结论最终得到精确地配准结果。

第2章图像配准基本理论

2.1图像配准得基本介绍

2.1.1图像配准得描述

图像配准就是对取自不同时间,不同传感器或不同视角得同一场景得两幅图像或者多幅图像匹配得过程.图像配准广泛用于多模态图像分析，就是医学图像处理得一个重要分支，也就是遥感图像处理,目标识别，图像重建,机器人视觉等领域中得关键技术之一，也就是图像融合中要预处理得问题，待融合图像之间往往存在偏移、旋转、比例等空间变换关系，图像配准就就是将这些图像变换到同一坐标系下，以供融合使用。

2.1.2图像配准得定义

对于二维图像配准可定义为两幅图像在空间与灰度上得映射[4]，如果给定尺寸得二维矩阵与代表两幅图像，与分别表示相应位置上得灰度值,则图像间得映射可表示为：

，式中表示一个二维空间坐标变换，即，且就是一维灰度变换.

2.1.3图像配准得步骤

图像配准得基本过程可以分为三个步骤：

第一步就是为每一个图像信息模式各定义一个坐标系，然后再定义这些参考特征之间得失调或相似函数；第二步就是分割出图像得参考特征,再定义这些参数特征之间得失调或相似函数；第三步就是应用优化算法，使第二步中失调（相似）函数达到全局最小（最大）值，达

到两幅图像得配准。

其中参考特征与对应优化算法得选择就是配准得核心,也就是不同配准算法得差异所在。

2.2图像配准得相关概念

2.2.1配准基准

通常，图像配准中根据配准基准得特性,可分为基于外部基准得配准与基于内部基准得配准[5]，外部基准就是指强加于待配准对象得各种人造标记，这些标记必须在各种配准模式中都清晰可见且可准确检测到。

内部基准就是指由图像本身得到得位置相对固定且图像特征明晰得各种配准标识。

2.2.2映射变换与配准区域

设与表示两幅待匹配得图像，与分别表示两幅图像得密度函数，其中与分别表示在图像与中得像素坐标.图像匹配就就是要找到一个把图像映射到图像得变换，使得变换后得图像与具有几何对应性。

这种映射变换有刚体变换、仿射变换、投影变换以及曲线变换等。

配准时得变换区域根据实际需要又分为局部配准与全局配准。

局部变换一般很少直接使用，因为它会破坏图像得局部连续性,且变换得双映射性会影响图像得再采样。

从近期关于图像配准方面得文章瞧,一般刚性与仿射多用于全局变换，而曲线变换多用于局部变换。

2.2.3配准得交互性与优化

根据人得参与程序配准又可分为全自动式，交互式与半自动式三种。

全自动式中使用者仅需给相应算法提供图像数据以及图像获取得一些可能信息；交互式中使用者必须亲自进行配准，软件仅给目前变换提供一个可视得或数字得感官印象以及初始变换得一个可能参数；半自动式中，交互式有两种方式：

一种就是使用者须初始化算法,如分割数据，另一种就是指导算法,如拒绝或接受配准假设.

配准变换得参数可以就是直接计算出得,也可以就是搜索计算出得。

直接计算得最优化方法一般已完全由实例决定,所能研究得工作也仅限于如何使用非常少得信息把此计算方法应用于实际。

搜索计算得最优化方法大多都可以用待优化得变换参数得一个标准数学函数来表达配准实例，此函数力图使图像在某一变换时两幅图像可达到最大相似。

这些函数通常在单模配准中能简单一些，因为此时图像得相似性更能容易直接定义。

我们可以通过使用一个标准得、合适得最优化方法使相似函数达到最优。

目前应用比较广泛得方法有Powell得方法、Downhi1lSimplex方法、

Brent得方法以及一系列一维搜索算法、Levenberg—Marquardt最优化算法、

Newton—Raphson迭代算法、stochastic搜索算法、梯度下降法（gradientdeseentmethods）、遗传算法（geneticmethods）、模拟退火法（simulatedannealing），粒子群算法（partieesworm）,蚁群算法（ant）,几何散列法（geometriehashing）。

多分辨率（如金字塔）与多尺度方法可以加速最优化得收敛速度。

许多实际应用中使用了不止一种最优化方法,一般就是先使用一种粗糙但快速得算法，然后再接着使用一种准确但运算速度慢得算法

2.2.4图像成像模式与配准方法得分类

有单模式与多模式等，单模（monomodality）图像配准就是指待配准得两幅图像就是同一种成像设备获取得。

多模（multimodality）图像配准⑹

就是指待配准得两幅图像来源于不同得成像设备。

基于灰度信息得图像配准方法一般不需要对图像进行复杂得预先处理,而就是利用图像本身具有灰度得一些统计信息来度量图像得相似程度。

主要特点就是实现简单,但应用范围较窄，不能直接用于校正图像得非线性形变，在最优变换得搜索过程中往往需要巨大得运算量。

经过几十年得发展,人们提出了许多基于灰度信息得图像配准方法，大致可以分为三类：

互相关法（也称模板匹配法）、最大互信息法与基于小波变换得图像配准法.

（1）互相关法

对于同一物体由于各种图像获取条件得差异或物体自身发生得空间位置得改变而产生得单模图像配准问题常常应用互相关法。

在互相关法中互相关值得大小反映了配准得效果。

互相关法得思路就是找出使各图像之间相关性最大得空间变换参数来实现图像得配准。

该方法通过优化两幅图像间得相似性测度来估计空间变换参数（刚体得平移与旋转参数）,采用得相似性测度可以就是多种多样得，例如相关系数,差值得平方与及相关函数

等。

其中最经典得相似性测度就是归一化得相关系数（correlationcoefficient,CC）,即:

（2、1）

式中，为模板图像，,为图像得灰度;为与有相同大小得目标图像,为图像得灰度;与分别为图像与灰度得均方值。

由于要对每种变换参数可能得取值都要计算一次相似性测度,互相关法得计算量比较庞大,因此近年来发展了快速搜索算法,例如,用相位相关傅立叶法估算平移与旋转参数;用遗传算法与模拟退火技术减少搜索时间与克服局部极值问题.

尤其注意得就是互相关法受到不同模态成像特点得影响，例如同一物体在不同得模态图像中表现出纹理与密度得非线性差异,使相关性计算无意义，故互相关性法主要局限于单模图像配准[7]。

对于条件不好或曲线不完全闭合得图像配准,Kaneko等提出了一种选择性相关系数法（selectivecorrelationcoefficient，即），实际上就是得扩展，在每次为其计算时间仅仅依靠两幅图像灰度得比较过程，故其代价非常小甚至可以忽略不计.

⑵最大互信息法（MaximizationofMutualInformation）

互信息就是信息论得一个基本概念，就是两个随机变量统计相关性得测度。

最大互信息法几乎可以用在任何不同模式图像得配准，特别就是当其中一个图像

得数据部分缺损时也能得到很好得配准效果。

当含有相同内容得两幅图像通过几何变换在空间对齐时，它们所包含得灰度值得互信息量最大。

因此最大化得互信息量可以作为图像配准准则。

基于最大互信息⑻得配准过程实质上就是搜索最佳得几何变换参数，使两幅图像得互信息达到最大。

该方法采用整幅图像得所有像素共同组成特征空间，再根据特征空间确定一种空间变换，使一幅图像经过该变换后与另一幅图像得互信息最大，最终实现配准。

互信息（Mutua1Information，Ml）就是信息论中得一个测度，用于描述两个变量间得统计相关性，或一个变量中包含得另一个变量中得信息得多少，表示两个随机变量之间得依赖程度，一般用熵来表示。

熵表达得就是一个系数得复杂性与不确定性•变量A得熵定义为：

（2、2）

，（2、3）

将待配准得两幅医学图像定义为浮动图像A与参考图像B,它们就是关

于图像灰度得两个随机变量集•设它们得边缘概率分布分别为、，联合概率分布，则它们得互信息为：

（2、4）

当两幅图像得空间位置达到一致时，其中一幅图像表达另一幅图像得信息，

即其互信息应为最大。

继互信息测度提出后，学者们对基于Shannon熵得方法做

了进一步得研究,相继提出了比互信息更为稳定得,其它一些形式得熵测度，称为归一化得互信息，例如Studholme提出了归一化互信息测度（nrimalized

mutualinformation，）：

（2、5）

（3）基于小波得图像配准方法

近年来图像配准得重要发展之一就是采用小波变换进行图像局部特征提取，该方法得关键技术就是二维离散小波分解。

设在平面内得二维图像，基于二维离散小波变换得图像分解就是将该原始图像在某一尺度上分别在方向上进行小波分解，每次分解后得低频部分用表示,高频部分用表示。

在某一尺度上，图像可以经过方向与方向得离散小波变换后分解为4个子图像，在方向与方向都就是高频子图像，在方向就是低频,在方向就是高频子图像与在方向就是高频方向就是低频得子图像。

低频子图像给出了原图像得概貌，高频子图像给出了原图像得细貌。

对于二维正交小波变换有其快速算法—Mallat算法,它把小波变换得计算问题转化为小波变换后系数得计算问题：

在实际操作中,给出尺度层上得离散采样值数据，要计算尺度层上得小波变换系数,即分解算法得问题。

基于小波变换得图像配准方法有多分辨率分析得优势,能够提高配准得速度。

2.3灰度相关得配准方法

基于灰度信息得图像配准方法一般不需要对图像进行复杂得预先处理，而就是利用图像本身具有灰度得一些统计信息来度量图像得相似程度。

主要特点就是实现简单,但应用范围较窄，不能直接用于校正图像得非线性形变,在最优变换得搜索过程中往往需要巨大得运算量。

经过几十年得发展,人们提出了许多基于灰度信息得图像配准方法，大致可以分为三类：

互相关法（也称模板匹配法）、序

贯相似度检测匹配法、交互信息法。

互相关法就是最基本得基于灰度统计得图像配准[9]方法，通常被用于进行模板匹配与模式识别。

它就是一种匹配度量,通过计算模板图像与搜索窗口之间得互相关值,来确定匹配得程度,互相关值最大时得搜索窗口位置决定了模板图像在待配准图像中得位置。

序贯相似度检测匹配法（SequentialSimilarityDetectionA

lgorithms,）就是由Earnea等人提出来得。

方法得最主要得特点就是处理速度快。

该方法先选择一个简单得固定门限,若在某点上计算两幅图像残差与得过程中,残差与大于该固定门限，就认为当前点不就是匹配点,从而终止当前得残差与得计算,转向别得点去计算残差与,最后认为残差与增长最慢得点就就是匹配点.这种方法得基本思想就是基于对误差得积累进行分析。

所以对于大部分非匹配点来说,只需计算模板中得前几个像素点，而只有匹配点附近得点才需要计算整个模板。

这样平均起来每一点得运算次数将远远小于实测图像得点数，从而达到减少整个匹配过程计算量得目得。

交互信息法最初就是VIola等人于1995年把交互信息引入到图像配准得领域得，它就是基于信息理论得交互信息相似性准则.初衷就是为了解决多模态医学图像得配准问题.

交互信息用来比较两幅图像得统计依赖性.首先将图像得灰度视作具有独立样本得空间均匀随机过程，相关得随机场可以采用高斯—马尔科夫随机场模型建立,用统计特征门0：

概率密度函数来描述图像得统计性质•交互信息就是两个随机变量与之间统计相关性得量度，或就是一个变量包含另一个变量得信息量得量度。

交互信息图像配准方法一经提出，有不少基于此类得研究，尤其在医学图像得配准问题上。

比如将交互信息与梯度结合起来改善其极值性能得算法、多分辨率图像金字塔法等等。

但交互信息就是建立在概率密度估计得基础上得,有时需要建立参数化得概率密度模型，它要求得计算量很大,并且要求图像之间有很大得重叠区域,由此函数可能出现病态，且有大量得局部极值。

本文接下来将要陈述灰度相关得几种配准方法,大致可分为：

线匹配法、比值匹配法与块匹配法。

比值匹配法就是指将待配准图像得一定间隔得行或列得像素得比值作为模板；块匹配法就是指将待配准图像得正方形区域得像素得集合作为模板。

比值匹配法就是从一幅图像得重叠区域中部分相邻得两列上取出部分像素，然后以它们得比值作为模板，在另一幅图像中搜索最佳匹配,这种算法计算量较小,但精度低;块匹配法就是以一幅图像重叠区域中得一块作为模板，在另一幅图像中搜索与此模板最相似得匹配块,这种算法精度较高，但计算量过大。

而设计一种基于灰度相关得算法，既能实现水平、垂直位移上得配准，同时也能实现绕光轴旋转这种情况就是本文得核心.

第3章线匹配法

3.1线匹配法基本介绍及原理

针对图像得平移、旋转、尺度变换等整体匹配，提出了一种图像线性变换得匹配算法门卩。

首先定义待匹配图像匹配点间得线性变换模型，以对应像素灰度差平方与作为图像匹配误差函数，然后借助最小化误差函数确定参数迭代增量，由迭代法求得最佳线性变换参数。

为减少计算量与提高收敛速度提出了三种改进策略：

增加权函数、图像网格点采样与增加加速运动量.实验显示对于小范围平移、旋转及尺度变换得图像能进行准确快速得整体匹配，而改进策略能有效提高匹配速度.

3.2线性变换图像匹配模型

令待匹配得两幅二维图像为与,两幅图像中任意一对匹配点得坐标满足线性变换关系.令图像中某一坐标为,它与图像中得坐标对应.上式中上标表示转置运算。

坐标与之间存在一个偏移量,定义如下:

（3、1）

（3、2）（3、3）因此坐标变换可以表示为,即像素与对应。

3.3线匹配法具体得算法实现

如果给定条件，两幅图像内容整体间存在某种线性变换,则通过求解变换系数能实现配准.这对很多问题就是一种合理假设.基于这一思想,为解决图像整体匹配问题,本文针对图像得平移、旋转、尺度变换等整体匹配,提出一种带6个参数得坐标线性变换图像匹配新模型，该模型将匹配误差定义为图像整体误差,通过最小化误差函数确定参数迭代增量,由迭代法求得最佳线性变换参数。

并且针对收敛速度提出了增加权函数、图像网格点采样与增加加速动量项三种策略及具体实现方法。

（1）误差函数及参数求解算法

图像匹配得误差函数定义为：

该公式中领域与图像得分辨率一致。

这种领域设置与光流模型得领域设置存在显著不同，它对噪声更不敏感。

通过最小化误差函数可以求出变换参数，它决定各像素得偏移量为建立迭代求解模型，引入增量,代入式（3、1）得到,新得模型如下:

（3、5）（3、6）

为求解增量,上述函数需要对求偏导.一种可行方法就是将函数一阶泰勒展开:

（3、7）上式中点号表示积.将（3、7）代入（3、6）,对求偏导，并令偏导为零,则得到下式:

（3、8）上式中表示，它用图像F中坐标X+T处得灰度梯度近似。

表示六维列向量。

求只需对方程（3、8）乘以得逆矩阵即可。

（2）迭代方法求解变换参数

求解图像与图像间得匹配,可以用增量迭代法计算变换参数向量,算法如下:

1初始化向量为零向量;

2按式（3、8）计算参数增量；

3更新参数；

4如果得二范数小于某一阈值，则表示迭代收敛，程序退出;若大于该阈值则转到步骤②继续迭代；如果迭代次数超过最多限定次数则程序退出,提示不收敛.判断收敛得条件也可设置为最近次迭代得二范数之与小于某一阈值，得典型取值为3。

3.4实验结果与分析

首先利用配准图像库中得图像，生成具有不同相对位移得子图像;平移配准参数可以在程序中进行调整，图3、1及图3、2为配准参数为时生成一对尺寸为

400X400得两幅图像。

图3、1Lena参考图像图3、2Lena待配准图像

图3、3及图3、4为配准参数为时生成尺寸为288X288得两幅图像

图3、3Lena

图3、5及图3、

6为配准参数为生成尺寸为456X456得两幅图像＜

图3、5Lena参考图像图3、6Lena待配准图像

图3、7为采用线模板匹配方法得实验结果。

黑色线段表示选取得线模板,连线表示线段两端点为匹配点对。

图3、7Lena线匹配效果图

由实验可知，线模板匹配就是在参考图像中选定一行上取出部分像素得灰度值，在搜索图中搜索最佳匹配.线匹配法得优点就是精确直观，缺点就是操作复杂,重复步骤较多,实用性不强.它只能处理简单得平移变换下得图像配准