SIFT特征.ppt

SIFT特征.ppt

《SIFT特征.ppt》由会员分享，可在线阅读，更多相关《SIFT特征.ppt（45页珍藏版）》请在冰豆网上搜索。

SIFT特征,主要内容,SIFT简介SIFT原理SIFT研究现状SIFT图像中的应用参考文献,1.SIFT简介,1999年DavidG.Lowe教授提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子尺度不变特征变换（ScaleInvariantFeatureTransform，SIFT），2004年得到完善。

2.SIFT原理,SIFT算法的实质可以归为在不同尺度空间上查找特征点（关键点）的问题。

关键点，就是在不同尺度空间的图像下检测出的具有方向信息的局部极值点。

尺度空间理论是通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取等。

2.SIFT原理,尺度空间的极值点检测建立高斯金字塔建立DOG金字塔DOG空间极值点检测关键点的精确定位确定关键点的主方向生成SIFT特征矢量（生成关键点的描述算子）,2.SIFT原理,尺度空间的极值点检测一个图像的尺度空间定义为原始图像与一个可变尺度的2维高斯函数卷积运算。

2.SIFT原理,建立高斯金字塔高斯金子塔的构建过程可分为两步：

1）对图像做高斯平滑；2）对图像做降采样。

根据不同的尺度，一幅图像可以产生几组（octave）图像，一组图像包括几层（interval）图像。

2.SIFT原理,建立高斯金字塔高斯金字塔共O组，每组S层，则有：

尺度空间坐标；ssub-level层坐标；初始尺度；S每组层数。

组内相邻两层的尺度组间相邻两层的尺度组内和组间尺度可归纳为,2.SIFT原理,降采样上一组图像的底层是由前一组图像的最后一层图像隔点采样生成的。

2.SIFT原理,建立DOG金字塔在尺度空间中有效检测关键点的位置，对图像使用可变的高斯差分函数求尺度空间中的极值。

每组检测S个极值点，DOG金字塔每组需要S+2层，高斯金字塔每组需要S+3层。

2.SIFT原理,DOG检测局部极值点关键点是由DOG空间的局部极值点组成的。

为了寻找DoG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否是所有相邻点中的最大值或最小值，若是就认为它是一个极值点。

中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的92个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

2.SIFT原理,关键点的精确定位上面检测到的极值点是离散的空间极值点，通过三维二次函数精确确定关键点的位置和尺度，同时去除低对比度的极值点和不稳定的边缘响应点（DOG算子会产生较强的边缘响应），以增强匹配稳定性、提高抗噪声能力。

2.SIFT原理,去除低对比度的点对尺度空间DoG函数进行曲线拟合其Taylor展开式

（1）；

（1）式求导得

（2）；计算（4）；所有取值小于0.04的极值点均可抛弃。

2.SIFT原理,去除不稳定的边缘响应点：

获取极值点处的Hessian矩阵，主曲率通过一个2*2的Hessian矩阵H求出。

D的主曲率和H的特征值成正比，令为最大特征值，为最小的特征值。

不满足的点就认为它不是关键点。

2.SIFT原理,确定关键点的主方向通过尺度不变性求极值点，可以使其具有缩放不变的性质，利用关键点邻域像素的梯度方向分布特性，可以为每个关键点指定方向，使描述子对图像旋转具有不变性。

像素点处的梯度表示：

2.SIFT原理,确定关键点的主方向1.直方图以每10度方向为一个柱，共36个柱，柱所代表的方向为像素点梯度方向，柱的长短代表了梯度幅值。

2.根据Lowe的建议，直方图统计半径采用3*1.5*。

3.在直方图统计时，每相邻三个像素点采用高斯加权，根据Lowe的建议，模板采用0.25,0.5,0.25，并连续加权两次。

2.SIFT原理,确定关键点的主方向关键点主方向：

极值点周围区域梯度直方图的主峰值也是特征点方向关键点辅方向：

在梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该关键点的辅方向。

2.SIFT原理,生成SIFT特征矢量描述子由228维向量表征，即22个8方向的方向直方图组成。

左图的种子点由88单元组成。

每一个小格都代表了特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素梯度方向，箭头长度代表该像素的幅值。

在44的窗口内计算8个方向的梯度方向直方图。

绘制每个梯度方向的累加可形成一个种子点，如右图所示：

一个特征点由4个种子点的信息所组成。

2.SIFT原理,Lowe实验结果表明：

描述子采用448128维向量表征，综合效果最优（不变性与独特性）。

2.SIFT原理,生成SIFT特征矢量步骤如下：

1.确定计算描述子所需的图像区域；2.将坐标轴旋转为关键点的方向，以确保旋转不变性；3.将邻域内的采样点分配到对应的子区域内，子区域内的梯度值分配到8个方向上，计算其权值；4.插值计算每个种子点八个方向的梯度；5.如上统计的梯度信息即为该关键点的特征向量；6.描述子向量门限；7.按特征点的尺度对特征描述向量进行排序。

2.SIFT原理,旋转后区域内采样点的新坐标为：

2.SIFT原理,在区域内对每个像素点求其梯度幅值和方向，然后对每个梯度幅值乘以高斯权重参数，生成方向直方图。

m,n,k取0或1。

3.SIFT研究现状,优点1）SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；2）独特性好，信息量丰富，适用于海量特征数据库中进行快速、准确的匹配；3）多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；4）高速性，经优化的SIFT匹配算法可以达到实时的要求；5）可扩展性，可以很方便的与其他形式的特征向量进行联合。

缺点1）实时性不高；2）有时特征点较少；3）对边缘光滑的目标无法准确提取特征点。

3.SIFT研究现状,改进SIFT在图像的不变特征提取方面拥有优势，但存在着实时性不高、有时特征点较少、对边缘模糊的目标无法准确提取特征点等缺陷。

3.SIFT研究现状,PCA-SIFTPCA是一种数据降维技术。

通过降维技术，可有效化简SIFT算子的128维描述子。

CSIFT彩色尺度特征不变变换，可以针对彩色图像进行图像的不变特征提取。

SURFSURF是SIFT算法的增强版，SURF算法的计算量小，运算速度快，提取的特征点几乎与SIFT相同。

ASIFT两个向量空间之间的一个仿射变换。

ASIFT可以抵抗强仿射情况，提取的特征点远多于SIFT算法。

3.SIFT研究现状,3.SIFT研究现状,SIFT、PCA-SIFT与SURF的对比,4.SIFT在图像中的应用,4.1图像匹配4.2图像配准4.3图像检索4.4图像拼接4.5人脸识别,4.SIFT在图像中的应用,4.1图像匹配郑永斌等人提出一种SIFT和旋转不变LBP相结合的图像匹配算法，以提高SIFT算法的速度。

首先利用SIFT关键点检测方法在2幅待匹配图像上分别检测关键点，得到2个关键点集；然后计算每个关键点周围图像区域的旋转不变LBP特征，并将其作为该关键点的描述；最后采用基于关键点最近邻距离比值的匹配策略，找出2个关键点集之间存在匹配关系的关键点对。

4.SIFT在图像中的应用,实验结果表明，文中算法对结构内容图像的匹配性能与SIFT算法相当，运算速度比SIFT算法大为提高。

4.SIFT在图像中的应用,4.2图像配准刘向增等人提出了一种基于仿射不变稳健SIFT特征的SAR图像配准方法（RSIFT+SVD）。

在以Hessian矩阵特征值为参数椭圆邻域内构造特征点的SIFT特征具有仿射不变性，并在构造过程中采用Premitt算子计算像素点的梯度和方向，利用了更多的邻域信息减小了算法的对灰度变化的敏感性。

考虑了点邻域的灰度相关性和点对的尺度比和方位差误差，定义了新的相似性度量，提高了算法对大几何变化及灰度变化的稳健性。

4.SIFT在图像中的应用,4.SIFT在图像中的应用,4.3图像检索汪善义等人针对医学X线计算机断层（CT）图像，提出了一种基于SIFT和近似最近邻算法的检索方法。

首先通过SIFT算法得到图像的特征点和相应的特征向量，采用近似最近邻算法进行SIFT特征向量的匹配搜索，得到数据库中与参考图像最相似的图像序列。

实验结果表明，该法能检索到与目标图像细节相符的结果，大大提高了检索速度，与传统的基于纹理的检索方法相比，查准率和检索结果与目标图像的相似程度方面更佳，符合医学图像检索的要求。

4.SIFT在图像中的应用,左上目标图像右上基于纹理的检索结果左下新方法的检索结果,4.SIFT在图像中的应用,4.4图像拼接王宇等人提出了一种基于SIFT和小波变换的图像拼接算法，以提高室外复杂场景的图像拼接质量。

利用SIFT算法提取图像的特征矢量；利用最近邻法完成两幅图像特征点的匹配，确定重合区域；利用基于小波变换的多分辨率方法完成对图像的拼接。

实验结果表明，该方法对亮度差异较大的图像拼接效果良好，适宜于室外复杂环境的图像拼接。

4.SIFT在图像中的应用,4.SIFT在图像中的应用,4.5人脸识别杨武夷等人提出了一种基于人脸检测与SIFT特征点匹配的播音员镜头自动检测算法。

首先利用人脸检测器过滤出具有人脸的候选镜头，然后利用颜色直方图判断镜头是否可能相似，再利用SIFT特征点匹配从候选镜头关键帧中找出相关的镜头组，最后利用各镜头组的信息判断出哪些是播音员镜头。

该方法除了训练一个通用的人脸检测器外，可以直接利用算法对新类型的新闻节目提取播音员镜头。

实验结果表明，该算法能够广泛地适应于各种不同种类的新闻节目、不同视觉质量的视频，可以有效地应用于新闻视频分析。

4.SIFT在图像中的应用,5.参考文献,1胡海青,谭建龙,朱亚涛,龚国成,刘金刚.改进SIFT算法在文字图像匹配中的应用J.计算机工程,2013,39

（1）:

239-2432郑永斌,黄新生,丰宋江.SIFT和旋转不变LBP相结合的图像匹配算法J.计算机辅助设计与图形学学报,2010,22

（2）:

286-2913刘向增,田铮,温金环,武建明,张朝阳.基于仿射不变SIFT特征的SAR图像配准J.光电工程,2010,37（11）:

121-1274吴锐航,李绍滋,邹丰美.基于SIFT特征的图像检索J.计算机应用研究,2008,25

（2）:

78-815汪善义,马煜,汪源源.基于SIFT特征和近似最近邻算法的医学CT图像检索J.生物医学工程学进展,2011,32（3）:

123-1296王宇,王涌,天刘越.基于SIFT和小波变换的图像拼接算法J.北京理工大学学报,2009,29（5）:

423-4267罗佳,石跃祥,段德友.基于SIFT特征的人脸识别方法J.计算机工程,2010,36（13）:

173-1778杨武夷,曾智,张树武,李和平.基于人脸检测与SIFT的播音员镜头检测J.软件学报,2009,20（9）:

2417-2425,代码实现,代码流程图,代码流程图,代码流程图,代码流程图,代码流程图,