SIFT算法概述Word下载.docx

1、特征空间的选择决定了图 像的哪些特性参与匹配，哪些特性将被忽略。特征点的特征描述符应是不变量，以确保最低 限度的受摄像机的运动或光照变化等因素的影响。选择合理的特征空间可以降低各类图像变 化因素对匹配算法速度、稳健性的影响。3.） 进行特征匹配以获得候选匹配点。这一步根据特征向量的相似性来进行匹配，一般采用各种1 本讲义主要改写于本人毕业论文中关于SIFT的讨论章节。推荐参考图书：Visual C+/Matlab图像处理与识别实用案例精选距离函数作为特征的相似性度量，如欧氏距离、街区距离、马氏距离等51。4.） 消除错配。无论采用何种特征描述符和相似性判定度量，错配难以避免。这一步主要做的就

2、是根据几何或光度的约束信息去除候选匹配点中的错配。常用的去外点方法是RANSAC随机 抽样一致性算法41，常用的几何约束是极线约束关系（Epipolar Line）24。5.2 SIFT 特征匹配5.2.1 图像多尺度表示 尺度空间理论最早出现于计算机视觉领域时其目的是模拟图像数据的多尺度特征。Koendetink在文献52中证明高斯卷积核是实现尺度变换的唯一变换核，而Lindeberg53等人则进一步证明高斯核 是唯一的线性核。二维高斯函数定义如下：G（ x, y, ） = 代表了高斯正态分布的方差。12 2e （ x + y ） / 22 2 2（5-1）一幅二维图像，在不同尺度下的尺度空

3、间表示可由图像与高斯核卷积得到：L（ x, y, ） = G（x, y, ） I （x, y）（5-2）式（5-2）中，（x,y）代表图像的像素位置， 称为尺度空间因子，其值越小则表征该图像被平滑的越少，相应的尺度也就越小。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。L 代 表了图像的尺度空间。5.2.2 SIFT 特征匹配算法David G.Lowe在 2004 年总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于 尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子SIFT算子53， 其全称是Scale Invariant Feature Tra

4、nsform，即尺度不变特征变换。SIFT 算法首先在尺度空间进行特征检测，并确定关键点（Keypoints）的位置和关键点所处的尺度， 然后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性。SIFT 算法提取的 SIFT 特征向量具有如下特性：a） SIFT 特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变 化、仿射变换、噪声也保持一定程度的稳定性。b） 独特性（Distinctiveness）好，信息量丰富，适用于在海量特征数据库中进行快速、准确的 匹配23。c） 多量性，即使少数的几个物体也可以产生大量 SIFT 特征向量。d） 高速性，

5、经优化的 SIFT 匹配算法甚至可以达到实时的要求。e） 可扩展性，可以很方便的与其他形式的特征向量进行联合。Lowe 在图像二维平面空间和 DoG（Difference -of-Gaussian）尺度空间中同时检测局部极值以作为 特征点，以使特征具备良好的独特性和稳定性。DoG 算子定义为两个不同尺度的高斯核的差分，其 具有计算简单的特点，是归一化 LoG （Laplacian-of-Gaussian）算子的近似。DoG 算子如式（5-3）所示：D（ x, y, ） = （G（ x, y, k ） G（ x, y, ） I （ x, y）= L（ x, y, k ） L（ x, y, ）（5

6、-3）对于图像上的点，计算其在每一尺度下 DoG 算子的响应值，这些值连起来得到特征尺度轨迹曲线。特征尺度曲线的局部极值点即为该特征的尺度。尺度轨迹曲线上完全可能存在多个局部极值点， 这时可认为该点有多个特征尺度。（a） 测试图像 （b） 尺度轨迹曲线 图 5-1 尺度轨迹图 5-1（b）为图 5-1（a）中十字花点处的尺度轨迹曲线。可见该图中尺度轨迹曲线在大约 =5 处取得局部极小值。SIFT 特征匹配算法包括两个阶段，第一阶段是 SIFT 特征的生成，即从多幅待匹配图像中提取出 对尺度缩放、旋转、亮度变化无关的特征向量；第二阶段是 SIFT 特征向量的匹配。下面本文来具体介绍一下 SIFT

7、 算法。一幅图像 SIFT 特征向量的生成算法总共包括 4 步：（1）尺度空间极值检测，以初步确定关键点位置和所在尺度。图 5-2 DoG 尺度空间局部极值检测图 5-2 为 DoG 尺度空间的三个相邻尺度。 在检测尺度空间极值时，图中标记为叉号的像素需要跟包括同一尺度的周围邻域 8 个像素和相邻尺度对应位置的周围邻域 92 个像素总共 26 个像素进行比较，以确保在尺度空间和二维图像空 间都检测到局部极值。（2）通过拟和三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不 稳定的边缘响应点（因为DoG算子会产生较强的边缘响应），以增强匹配稳定性、提高抗噪声能力53。（3）利

8、用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不 变性。m（ x, y） =（L（ x + 1, y） L（ x 1, y） 2 + （L（ x, y + 1） L（ x, y 1） 2（5-4） （ x, y） = a tan 2（L（ x, y + 1） L（ x, y 1） /（L（ x + 1, y） L（ x 1, y）式（5-4）为（x,y）处梯度的模值和方向公式。其中 L 所用的尺度为每个关键点各自所在的尺度。 在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是 0360 度，其中每 10 度一个柱

9、，总共 36 个柱。直方图的峰值则代表了该 关键点处邻域梯度的主方向，即作为该关键点的方向。图 5-3 是采用 7 个柱时使用梯度直方图为关 键点确定主方向的示例。图 5-3 由梯度方向直方图确定主梯度方向在梯度方向直方图中，当存在另一个相当于主峰值 80%能量的峰值时，则将这个方向认为是该关键点的辅方向。一个关键点可能会被指定具有多个方向（一个主方向，一个以上辅方向），这可以 增强匹配的鲁棒性53。至此，图像的关键点已检测完毕，每个关键点有三个信息：位置、所处尺度、方向。由此可以 确定一个 SIFT 特征区域（在实验章节用椭圆或箭头表示）。（4）生成 SIFT 特征向量。 首先将坐标轴旋转为

10、关键点的方向，以确保旋转不变性。图 5-4 由关键点邻域梯度信息生成特征向量接下来以关键点为中心取 88 的窗口。图 5-4 左部分的中央黑点为当前关键点的位置，每个小 格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度 模值，图中蓝色的圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。然后在每44 的小块上计算 8 个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点， 如图 5-4 右部分所示。此图中一个关键点由 22 共 4 个种子点组成，每个种子点有 8 个方向向量信 息。这种邻域方向性信息联合的思想增强了算法抗噪声的能

11、力，同时对于含有定位误差的特征匹配 也提供了较好的容错性。实际计算过程中，为了增强匹配的稳健性，Lowe 建议对每个关键点使用 44 共 16 个种子点来 描述，这样对于一个关键点就可以产生 128 个数据，即最终形成 128 维的 SIFT 特征向量。此时 SIFT 特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则 可以进一步去除光照变化的影响。当两幅图像的 SIFT 特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图 像中关键点的相似性判定度量。取图像 1 中的某个关键点，并找出其与图像 2 中欧式距离最近的前 两个关键点，在这两个关键

12、点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一 对匹配点。降低这个比例阈值，SIFT 匹配点数目会减少，但更加稳定。5.2.3 实验结果实验算法采用 VC7.1 开发，程序界面如图 5-5 所示。图 5-5 SIFT 特征匹配程序界面第一组实验图片为包装盒图片（附图五）。该组图片在拍摄时进行了相机平移、转动和变焦操作。 图 5-6（a）为第一幅图中检测出的 SIFT 特征。本文用不同颜色的椭圆来表示 SIFT 特征，椭圆的中心 位置代表了关键点在图像中的二维坐标位置，椭圆的长轴代表了关键点的尺度，椭圆的方向代表了 该关键点的方向。本例中取比例阈值为 0.4。图 5-6（b）是特

13、征匹配的结果。可见，两幅图像中匹配的 SIFT 特征较为 稳定，其位置信息、方向性和尺度信息准确，椭圆的长轴垂直于某个尺度下的灰度变化取得最大值 的方向，与人眼的直观判断相符。SIFT 特征描述了图像的局部结构性信息，虽然不如角点和边缘特 征那样有十分明显的视觉意义，但其因估算了特征的尺度和方向，从而对几何形变较大的宽基线图 像具有较强的匹配能力。（a）图 1 的 SIFT 特征（b）匹配的 SIFT 特征图 5-6 包装盒图片的 SIFT 特征检测与匹配图 5-7 遮挡图书的 SIFT 特征匹配第二组实验测试了算法对遮挡和视角变化的适应能力（附图六）。其中第一幅图为目标图书的正面拍摄图，第二

14、幅图则含有 4 本图书且摆放顺序杂乱、互相有堆叠遮挡，另外第二幅图为侧面拍摄 图，与第一幅图视角差距较大。图 5-7 为使用 SIFT 算法进行特征点匹配的结果，两幅图像中的对应 SIFT 特征点被成功匹配出，并且在较大视角差异下，SIFT 特征依然保持了较好的方向性。第三组实验图片（附图七），使用 SIFT 算法将不同方位、不同焦距拍摄的、具有一定倾斜角的、 亮度不同的人体照片与复杂场景中的人体进行特征点匹配。实验结果如图 5-8 所示，可见本例中 SIFT 算法表现出较好的目标定位能力，且能够在一定程度上排除亮度差异、视角变化和复杂场景中其他 物体的影响。图 5-8 场景中人体的 SIFT

15、 特征匹配上面使用了三组宽基线图片作了实验，下面是以附图二的车流图片为例分析 SIFT 特征匹配算法 对窄基线情况的图像进行点特征匹配的实验。第三章的图 3-11 是使用本文提出的导向角点匹配算法进行特征点匹配的结果，图 5-9、图 5-10为使用 SIFT 算法进行匹配的结果。图 5-9 车辆图片的 SIFT 特征匹配图 5-9 为 SIFT 特征区域的椭圆表示形式，图 5-10 为 SIFT 特征的箭头表示形式，箭头的起点代 表该关键点的位置，箭头的长度代表该关键点所处的尺度，箭头的方向代表该尺度下关键点所处邻 域的主梯度方向。图 5-10 车辆图片的 SIFT 特征匹配可见，局部匹配能力

16、较强的 SIFT 特征匹配算法也可以较好的适用于窄基线图像特征匹配的情况， SIFT 算子可以较稳健的对发生几何形变、退化、受噪声干扰的图像局部特征进行准确的匹配。而且 由于 SIFT 算法在计算关键点方向时充分利用了邻域信息，这样在一定程度上可以避免在小运动物体 上匹配特征点，因为小运动物体的邻域信息即使去除了尺度和旋转的因素后也仅是具备较少的梯度 方向相似性；同时 SIFT 算法在计算关键点处的梯度方向时使用了直方图统计和高斯加权的思想，这 就对存在定位偏差的特征点匹配提供了更好的适应性。由于 SIFT 算法需要在各个尺度上进行计算，其时间复杂度相对较高，而且经 RANSAC 算法后 得到

17、的有效匹配点数目往往不是很理想。如果在窄基线条件下应用 SIFT 算子进行特征匹配，考虑到窄基线图像的自身特点，笔者建议仅选择相近的几个尺度进行计算，同时辅以图像的主运动信息和有效的几何限制，加速 SIFT 算法的匹配过程、提高匹配点数量，同时更进一步的提高匹配算法的稳 健性，以更好的发挥 SIFT 算法的优势。5.2.4 小结本文作者设计拍摄了 20 种宽基线情况下有代表性的实验图片，这些图片在拍摄时相机光心位置 偏移较大，且均伴有 24 倍光学变焦操作，并选用不同的曝光参数（1/200 s 1/300 s）或光圈大小（F2.8 F5.6）以模拟亮度差异。选择合适的比例阈值（0.40.6 之

18、间），在仅使用欧式距离进行SIFT特征向 量匹配的前提下，SIFT算法匹配的特征点有效率平均可以达到 80%左右；如果根据拍摄条件而选用 透视变换矩阵、基础矩阵等24对其进行几何约束，采用RANSAC算法41、Hough聚类法54进一步去 除错配，则SIFT算法可以达到更高的正确匹配率。另外本文也做了窄基线图像的点特征匹配的实验，分析了 SIFT 算法的优势，并给出了窄基线条 件下应用 SIFT 算法进行特征匹配的建议。在点特征匹配基础之上，可以进一步将SIFT算子应用于目标辨识、图像数据库检索等技术中 22,23,53,55，其中Andrew Zisserman在ICCV2003 会议上介绍

19、了使用SIFT思想的一个基于物体识别的视 频搜索系统Video Google55，成功的演示了海量视频数据库检索中的快速图像检索，这些都在预 示着基于不变量理论的特征匹配技术将拥有美好的发展前景和更加广阔的研究空间。5.2.5 更多实验结果可见 SIFT 算法几乎可以应用于较大视角变化下的图像特征点匹配。SI :D- tmlB1iRit.lit:t. jJI:liliilll n click） |5010015020025030050 100 150 200 250 300上面为原始实验图片和 SIFT 特征向量，由这两张图片可以清楚的看出 SIFT 特征向量的方向特性。下面是阈值为 0.6 时的匹配结果：