图像融合技术外文翻译-中英对照（适用于毕业论文外文翻译+中英文对照）.docx

1、中英文资料对照外文翻译使用不变特征的全景图像自动拼接摘要本文研究全自动全景图像的拼接问题，尽管一维问题（单一旋转轴）很好研究，但 二维或多行拼接却比较困难。以前的方法使用人工输入或限制图像序列，以建立匹配的 图像，在这篇文章中，我们假定拼接是一个多图像匹配问题，并使用不变的局部特征来 找到所有图像的匹配特征。由于以上这些，该方法对输入图像的顺序、方向、尺度和亮 度变化都不敏感；它也对不属于全景图一部分的噪声图像不敏感，并可以在一个无序的 图像数据集中识别多个全景图。此外，为了提供更多有关的细节，本文通过引入增益补 偿和自动校直步骤延伸了我们以前在该领域的工作。1.简介全景图像拼接已经有了大量的

2、研究文献和一些商业应用。这个问题的基本几何学很 好理解，对于每个图像由一个估计的 33 的摄像机矩阵或对应矩阵组成。估计处理通常由用户输入近似的校直图像或者一个固定的图像序列来初始化，例如，佳能数码相机内 的图像拼接软件需要水平或垂直扫描，或图像的方阵。在自动定位进行前，第 4 版的REALVIZ 拼接软件有一个用户界面，用鼠标在图像大致定位，而我们的研究是有新意的，因为不需要提供这样的初始化。根据研究文献，图像自动对齐和拼接的方法大致可分为两类直接的和基于特征的。直接的方法有这样的优点，它们使用所有可利用的图像数据，因此可以提供非常准 确的定位，但是需要一个只有细微差别的初始化处理。基于特征

3、的配准不需要初始化， 但是缺少不变性的传统的特征匹配方法（例如，Harris 角点图像修补的相关性）需要实现任意全景图像序列的可靠匹配。在本文中，我们描述了一个基于不变特征的方法实现全自动全景图像的拼接，相比 以前的方法有以下几个优点。第一，不变特征的使用实现全景图像序列的可靠匹配，尽 管在输入图像中有旋转、缩放和光照变化。第二，通过假定图像拼接是一个多图像匹配 问题，我们可以自动发现这些图像间的匹配关系，并且在无序的数据集中识别出全景图。 第三，通过使用多波段融合呈现无缝输出的全景图，可以产生高质量的结果。本文通过引入增益补偿和自动校直步骤延伸了我们以前在该领域的工作，我们还描述了一个高效

4、的捆绑调整实现并展示对任意数量波段的多个重叠图像如何进行多波段融合。特征匹配本文其余部分的结构如下。第二部分说明所研究问题的几何学和我们选择不变特征 的原因。第三部分介绍了图像匹配方法（RANSAC ）和验证图像匹配的概率模型。第四部分中，我们描述了图像对准算法（捆绑调整），即共同优化每个摄像头的参数。五到 七部分描述了处理过程，包括自动校直、增益补偿和多波段融合。第九部分中，我们给 出了结论和对未来工作的展望。2.全景识别算法的第一步是在所有图像之间提取和匹配 SIFT 特征检测点。SIFT 特征检测子位于不同尺度空间高斯插值函数的极值点处，对每一个特征点，特征尺度和方向 被确定，这为测量提

5、供了一个相似不变的结构。尽管在这个结构中简单的采样强度值是 相似不变的，但是不变描述子实际上是通过对方向直方图的局部梯度值进行累积计算得 到的，这样就允许边缘有轻微的移动而不会改变描述子的矢量，对仿射变换提供了一定 的鲁棒性。空间累积计算对平移不变性同样重要，因为感兴趣点位置通常仅在03 个像素的范围内是精确的。为了实现亮度不变性可以使用梯度（消除偏差）和对描述子矢量 归一化（消除增益）。由于 SIFT 特征在旋转和尺度变化时是不变的，我们可以处理具有变化的方向和大小的图像（见图 8）。值得注意的是，这是传统的特征匹配技术不能实现的，例如Harris角点图像修补的相关性。传统的相关性在图像旋转

6、时是变化的，Harris 角点在改变图像尺度时也是变化的。假设相机绕光学中心旋转，图像的变换群是一个对应矩阵的特殊群。由一个旋转矢量q = q1，q2，q3 和焦距 f 将每个摄像头参数化，就给出了成对的对应矩阵ui = Hij u j ，其中Hij = Ki Ri RTK -1（1）jj并且ui , u j 是均匀的图像坐标（ u i = si ui ,1，其中ui 是二维的图像坐标）。4 参数的相机模型定义为：对旋转使用指数表示： f i0Ki = 0fi 00 00 10-qi3qi2 （2）i iR = eqi , q = qi30-qi1 （3）-qi2qi10 在这个变换群中，理想

7、条件下将会使用不变的图像特征。可是，在图像坐标中对于小的变换表示如下：ui = ui0 +uiu jui 0Du j（4）或者等价于 u i = Aij u j ，其中，a11Aij = a21 0a12 a220a13 a 23 1 （5）是通过一个关于 ui0 的对应线性化得到的仿射变换。这意味着每个小的图像修补经过一次仿射变换，并且合理利用了在仿射变换下局部不变的 SIFT 特征。一旦从所有 n 个图像中提取特征点后（线性时间内），需对特征点进行匹配。由于多个图像可能重叠在一个单一的光线上，在特征空间内每个特征点需和它最近的 k 个领域点匹配（k=4），通过使用 k-d 树算法找到近似最

8、近的领域点，时间复杂度为 O（ n log n ）。 k-d 树是一种轴对齐的二进制空间划分，它在平均最高方差维递归划分特征空间。图像匹配3.图像匹配的目标是找到所有匹配（例如重叠）图像，稍后图像匹配连通集会成为全 景图。由于每个图像可能和任意其他一个匹配，这个问题一开始就呈现是出图像数的二 次方。为了得到一个好的拼接结果，对于图像几何而言，每个图像只需要和少数重叠的 图像来匹配。从特征匹配这个步骤中，我们已找出图像间有大量匹配点的图像。对于当前图像， 我们将 m 幅图像作为可能的匹配图像（m=6），这 m 幅图像与当前图像有最大数量的特征匹配点。首先，使用 RANSAC 算法选择一系列和图像

9、间对应矩阵兼容的内点，然后应用概率模型做进一步的验证。3.1 使用 RANSAC 算法的鲁棒对应矩阵估计RANSAC（随机抽样一致性算法）算法是使用最少的一组随机采样匹配点的一种鲁 棒估计过程，用来估计图像变换参数，并找到与数据具有最好一致性的解决方案。在全 景图的情况下，我们选择r=4 对匹配特征点，使用直接线性变换（DLT)方法计算图像间的对应矩阵 H。重复500 次试验，选择内点数最大的解决方案（在像素误差范围内，其预测和H 是一致的）。假设一对匹配图像间的特征匹配点是正确的概率（内点概率）为 pi ，n 次试验后找到正确变换的概率为：p(H is correct ）= 1 - (1 -

10、 ( pi )r ) n经过大量试验后，找到正确对应矩阵的概率非常大。例如，对于内点概率500 次试验后，未找到正确对应矩阵的概率为110-14 。（6）pi = 0.5 ，在图像匹配关系验证的概率模型RANSAC 算法本质上是一种估计 H 的采样方法，如果用对数似然和的最大化代替内点数量的最大化，结果是最大似然估计（ MLE）。此外，如果变换参数的先验值是有效的，可以计算出最大后验概率（MAP）。这些算法被分别称为MLESAC 和 MAPSAC。 3.2对两两图像间是否存在匹配关系， 我们使用一系列几何一致的特征匹配点（RANSAC 内点）和一系列在重叠区域内，但不一致的特征点（RANSAC

11、 外点）来验证。验证模型通过比较这些正确匹配产生的一系列内点和错误匹配产生的一系列外点的 概率来进行验证。对于一幅给定的图像，重叠区域内总的匹配特征点数为n f ，内点数为ni 。图像是否有效匹配通过二进制变量m 0,1表示。第i 个匹配特征点 f (i) 0,1是否为内点被假定为独立的贝努力分布，以便于内点总数服从贝努力分布：if1p(f (1:n f ) m = 1)= B(n ; n , p )if0p(f (1:n f )m = 0)= B(n ; n , p )（7）（8）其中， p1 是可以正确匹配图像时特征点为内点的概率， p0 是不能实现图像匹配时特征f点为内点的概率； f (

12、1:nf ) 表示特征匹配点变量的集合 f (i),i = 1,2,.,n ， 内点数ni =nfi=1f (i)，B(.)是贝努力分布，表示如下：x!(nx !)B(x; n, p) = n!p x (1 - p)n - x-（9）p(f (1:nf ) m = 1)p(m = 1)p(f (1:nf )我们选择 p1 = 0.6 ， p0 = 0.1，则可以使用贝叶斯规则（式 10、11）计算正确图像匹配的先验概率。p(m = 1 f (1:nf )=1 +p(f (1:n f ) m = 0)p(m = 0)p(f (1:nf ) m = 1)p(m = 1)=1（10）（11）如果满足

13、 p(m = 1 f (1:nf ) ) pminB(ni ;n f , p1) p(m = 1) accept 1B(ni ; n f, p0)p(m = 0) a + bnf（13）其中a = 8.0 ， b = 0.3 。尽管在这我们选择了 p0 ， p1 ， p(m = 0)， p(m = 1)和 pmin的值，但在原理上可以从数据中进一步确定这些值。例如，可以通过在大的数据集中计算一部 分匹配点和正确的对应矩阵相一致来估计 p1 。一旦图像间的匹配点对确定，我们可以找到全景序列作为连接匹配图像集，它可以识别图像集中的多个全景，拒绝不匹配的噪声图像（见图 2）。（a）图一（b）图二（c

14、）SIFT 匹配点 1（d）SIFT 匹配点 2（e）RANSAC 内点 1（f）RANSAC 内点 2（g）依据对应矩阵的图像对准图 1，从所有图像中提取SIFT 特征点。使用k-d 树匹配所有特征点后，对于一个给定图像，用有最多特征匹配点的 m 幅图像进行图像匹配。首先执行RANSAC 算法计算出对应矩阵，然后调用概率模型验证基于内点数的图像匹配，在这个例子中，输入图像是517374 像素，有 247 个正确特征匹配点。（a）图像匹配点（b）图像匹配点的连接分量（c）输出全景图图 2，可识别全景图。考虑一个特征匹配点的噪声集，我们使用RANSAC 算法和概率验证过程找到一致的图像匹配（a），每个图像对间的箭头表示在图像对间找到一致的特征匹配点集，图像匹配连接分量被找到（b），拼接成全景图（c）；注意到该算法对不属于