SIFT算法概述Word下载.docx

SIFT算法概述Word下载.docx

《SIFT算法概述Word下载.docx》由会员分享，可在线阅读，更多相关《SIFT算法概述Word下载.docx（18页珍藏版）》请在冰豆网上搜索。

特征空间的选择决定了图像的哪些特性参与匹配，哪些特性将被忽略。

特征点的特征描述符应是不变量，以确保最低限度的受摄像机的运动或光照变化等因素的影响。

选择合理的特征空间可以降低各类图像变化因素对匹配算法速度、稳健性的影响。

3.）进行特征匹配以获得候选匹配点。

这一步根据特征向量的相似性来进行匹配，一般采用各种

1本讲义主要改写于本人毕业论文中关于SIFT的讨论章节。

推荐参考图书：

《VisualC++/Matlab图像处理与识别实用案例精选》

距离函数作为特征的相似性度量，如欧氏距离、街区距离、马氏距离等[51]。

4.）消除错配。

无论采用何种特征描述符和相似性判定度量，错配难以避免。

这一步主要做的就是根据几何或光度的约束信息去除候选匹配点中的错配。

常用的去外点方法是RANSAC随机抽样一致性算法[41]，常用的几何约束是极线约束关系（EpipolarLine）[24]。

5.2SIFT特征匹配

5.2.1图像多尺度表示尺度空间理论最早出现于计算机视觉领域时其目的是模拟图像数据的多尺度特征。

Koendetink

在文献[52]中证明高斯卷积核是实现尺度变换的唯一变换核，而Lindeberg[53]等人则进一步证明高斯核是唯一的线性核。

二维高斯函数定义如下：

G（x,y,σ）=

σ代表了高斯正态分布的方差。

1

2πσ2

e−（x+y）/2σ

222

（5-1）

一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到：

L（x,y,σ）=G（x,y,σ）∗I（x,y）

（5-2）

式（5-2）中，（x,y）代表图像的像素位置，σ称为尺度空间因子，其值越小则表征该图像被平滑的

越少，相应的尺度也就越小。

大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。

L代表了图像的尺度空间。

5.2.2SIFT特征匹配算法

DavidG.Lowe在2004年总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－SIFT算子[53]，其全称是ScaleInvariantFeatureTransform，即尺度不变特征变换。

SIFT算法首先在尺度空间进行特征检测，并确定关键点（Keypoints）的位置和关键点所处的尺度，然后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性。

SIFT算法提取的SIFT特征向量具有如下特性：

a）SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。

b）独特性（Distinctiveness）好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配[23]。

c）多量性，即使少数的几个物体也可以产生大量SIFT特征向量。

d）高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。

e）可扩展性，可以很方便的与其他形式的特征向量进行联合。

Lowe在图像二维平面空间和DoG（Difference-of-Gaussian）尺度空间中同时检测局部极值以作为特征点，以使特征具备良好的独特性和稳定性。

DoG算子定义为两个不同尺度的高斯核的差分，其具有计算简单的特点，是归一化LoG（Laplacian-of-Gaussian）算子的近似。

DoG算子如式（5-3）所示：

D（x,y,σ）=（G（x,y,kσ）−G（x,y,σ））∗I（x,y）

=L（x,y,kσ）−L（x,y,σ）

（5-3）

对于图像上的点，计算其在每一尺度下DoG算子的响应值，这些值连起来得到特征尺度轨迹曲

线。

特征尺度曲线的局部极值点即为该特征的尺度。

尺度轨迹曲线上完全可能存在多个局部极值点，这时可认为该点有多个特征尺度。

（a）测试图像（b）尺度轨迹曲线图5-1尺度轨迹

图5-1（b）为图5-1（a）中十字花点处的尺度轨迹曲线。

可见该图中尺度轨迹曲线在大约σ=5处取得

局部极小值。

SIFT特征匹配算法包括两个阶段，第一阶段是SIFT特征的生成，即从多幅待匹配图像中提取出对尺度缩放、旋转、亮度变化无关的特征向量；

第二阶段是SIFT特征向量的匹配。

下面本文来具体介绍一下SIFT算法。

一幅图像SIFT特征向量的生成算法总共包括4步：

（1）尺度空间极值检测，以初步确定关键点位置和所在尺度。

图5-2DoG尺度空间局部极值检测

图5-2为DoG尺度空间的三个相邻尺度。

在检测尺度空间极值时，图中标记为叉号的像素需要跟包括同一尺度的周围邻域8个像素和相

邻尺度对应位置的周围邻域9×

2个像素总共26个像素进行比较，以确保在尺度空间和二维图像空间都检测到局部极值。

（2）通过拟和三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点（因为DoG算子会产生较强的边缘响应），以增强匹配稳定性、提高抗噪声能力[53]。

（3）利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

m（x,y）=

（L（x+1,y）−L（x−1,y））2+（L（x,y+1）−L（x,y−1））2

（5-4）

θ（x,y）=atan2（（L（x,y+1）−L（x,y−1））/（L（x+1,y）−L（x−1,y）））

式（5-4）为（x,y）处梯度的模值和方向公式。

其中L所用的尺度为每个关键点各自所在的尺度。

在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方

向。

梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。

直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。

图5-3是采用7个柱时使用梯度直方图为关键点确定主方向的示例。

图5-3由梯度方向直方图确定主梯度方向

在梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该

关键点的辅方向。

一个关键点可能会被指定具有多个方向（一个主方向，一个以上辅方向），这可以增强匹配的鲁棒性[53]。

至此，图像的关键点已检测完毕，每个关键点有三个信息：

位置、所处尺度、方向。

由此可以确定一个SIFT特征区域（在实验章节用椭圆或箭头表示）。

（4）生成SIFT特征向量。

首先将坐标轴旋转为关键点的方向，以确保旋转不变性。

图5-4由关键点邻域梯度信息生成特征向量

接下来以关键点为中心取8×

8的窗口。

图5-4左部分的中央黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，图中蓝色的圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。

然后在每

4×

4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图5-4右部分所示。

此图中一个关键点由2×

2共4个种子点组成，每个种子点有8个方向向量信息。

这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。

实际计算过程中，为了增强匹配的稳健性，Lowe建议对每个关键点使用4×

4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。

此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。

当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。

取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。

降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。

5.2.3实验结果

实验算法采用VC7.1开发，程序界面如图5-5所示。

图5-5SIFT特征匹配程序界面

第一组实验图片为包装盒图片（附图五）。

该组图片在拍摄时进行了相机平移、转动和变焦操作。

图5-6（a）为第一幅图中检测出的SIFT特征。

本文用不同颜色的椭圆来表示SIFT特征，椭圆的中心位置代表了关键点在图像中的二维坐标位置，椭圆的长轴代表了关键点的尺度，椭圆的方向代表了该关键点的方向。

本例中取比例阈值为0.4。

图5-6（b）是特征匹配的结果。

可见，两幅图像中匹配的SIFT特征较为稳定，其位置信息、方向性和尺度信息准确，椭圆的长轴垂直于某个尺度下的灰度变化取得最大值的方向，与人眼的直观判断相符。

SIFT特征描述了图像的局部结构性信息，虽然不如角点和边缘特征那样有十分明显的视觉意义，但其因估算了特征的尺度和方向，从而对几何形变较大的宽基线图像具有较强的匹配能力。

（a）图1的SIFT特征

（b）匹配的SIFT特征

图5-6包装盒图片的SIFT特征检测与匹配

图5-7遮挡图书的SIFT特征匹配

第二组实验测试了算法对遮挡和视角变化的适应能力（附图六）。

其中第一幅图为目标图书的正

面拍摄图，第二幅图则含有4本图书且摆放顺序杂乱、互相有堆叠遮挡，另外第二幅图为侧面拍摄图，与第一幅图视角差距较大。

图5-7为使用SIFT算法进行特征点匹配的结果，两幅图像中的对应SIFT特征点被成功匹配出，并且在较大视角差异下，SIFT特征依然保持了较好的方向性。

第三组实验图片（附图七），使用SIFT算法将不同方位、不同焦距拍摄的、具有一定倾斜角的、亮度不同的人体照片与复杂场景中的人体进行特征点匹配。

实验结果如图5-8所示，可见本例中SIFT算法表现出较好的目标定位能力，且能够在一定程度上排除亮度差异、视角变化和复杂场景中其他物体的影响。

图5-8场景中人体的SIFT特征匹配

上面使用了三组宽基线图片作了实验，下面是以附图二的车流图片为例分析SIFT特征匹配算法对窄基线情况的图像进行点特征匹配的实验。

第三章的图3-11是使用本文提出的导向角点匹配算法进行特征点匹配的结果，图5-9、图5-10

为使用SIFT算法进行匹配的结果。

图5-9车辆图片的SIFT特征匹配

图5-9为SIFT特征区域的椭圆表示形式，图5-10为SIFT特征的箭头表示形式，箭头的起点代表该关键点的位置，箭头的长度代表该关键点所处的尺度，箭头的方向代表该尺度下关键点所处邻域的主梯度方向。

图5-10车辆图片的SIFT特征匹配

可见，局部匹配能力较强的SIFT特征匹配算法也可以较好的适用于窄基线图像特征匹配的情况，SIFT算子可以较稳健的对发生几何形变、退化、受噪声干扰的图像局部特征进行准确的匹配。

而且由于SIFT算法在计算关键点方向时充分利用了邻域信息，这样在一定程度上可以避免在小运动物体上匹配特征点，因为小运动物体的邻域信息即使去除了尺度和旋转的因素后也仅是具备较少的梯度方向相似性；

同时SIFT算法在计算关键点处的梯度方向时使用了直方图统计和高斯加权的思想，这就对存在定位偏差的特征点匹配提供了更好的适应性。

由于SIFT算法需要在各个尺度上进行计算，其时间复杂度相对较高，而且经RANSAC算法后得到的有效匹配点数目往往不是很理想。

如果在窄基线条件下应用SIFT算子进行特征匹配，考虑到

窄基线图像的自身特点，笔者建议仅选择相近的几个尺度进行计算，同时辅以图像的主运动信息和

有效的几何限制，加速SIFT算法的匹配过程、提高匹配点数量，同时更进一步的提高匹配算法的稳健性，以更好的发挥SIFT算法的优势。

5.2.4小结

本文作者设计拍摄了20种宽基线情况下有代表性的实验图片，这些图片在拍摄时相机光心位置偏移较大，且均伴有2～4倍光学变焦操作，并选用不同的曝光参数（1/200s~1/300s）或光圈大小（F2.8

~F5.6）以模拟亮度差异。

选择合适的比例阈值（0.4~0.6之间），在仅使用欧式距离进行SIFT特征向量匹配的前提下，SIFT算法匹配的特征点有效率平均可以达到80%左右；

如果根据拍摄条件而选用透视变换矩阵、基础矩阵等[24]对其进行几何约束，采用RANSAC算法[41]、Hough聚类法[54]进一步去除错配，则SIFT算法可以达到更高的正确匹配率。

另外本文也做了窄基线图像的点特征匹配的实验，分析了SIFT算法的优势，并给出了窄基线条件下应用SIFT算法进行特征匹配的建议。

在点特征匹配基础之上，可以进一步将SIFT算子应用于目标辨识、图像数据库检索等技术中[22,23,53,55]，其中AndrewZisserman在ICCV2003会议上介绍了使用SIFT思想的一个基于物体识别的视频搜索系统－VideoGoogle[55]，成功的演示了海量视频数据库检索中的快速图像检索，这些都在预示着基于不变量理论的特征匹配技术将拥有美好的发展前景和更加广阔的研究空间。

5.2.5更多实验结果

可见SIFT算法几乎可以应用于较大视角变化下的图像特征点匹配。

SI:

D

-tmlB1iRit.lit:

t.[jJI:

liliilllnclick）|

50

100

150

200

250

300

50100150200250300

上面为原始实验图片和SIFT特征向量，由这两张图片可以清楚的看出SIFT特征向量的方向特

性。

下面是阈值为0.6时的匹配结果：