图像融合技术外文翻译-中英对照Word格式.doc

1、布朗和戴维洛mbrown|lowecs.ubc.ca计算机科学系英国哥伦比亚大学加拿大温哥华摘要本文研究全自动全景图像的拼接问题，尽管一维问题（单一旋转轴）很好研究，但二维或多行拼接却比较困难。以前的方法使用人工输入或限制图像序列，以建立匹配的图像，在这篇文章中，我们假定拼接是一个多图像匹配问题，并使用不变的局部特征来找到所有图像的匹配特征。由于以上这些，该方法对输入图像的顺序、方向、尺度和亮度变化都不敏感；它也对不属于全景图一部分的噪声图像不敏感，并可以在一个无序的图像数据集中识别多个全景图。此外，为了提供更多有关的细节，本文通过引入增益补偿和自动校直步骤延伸了我们以前在该领域的工作。1.

2、简介全景图像拼接已经有了大量的研究文献和一些商业应用。这个问题的基本几何学很好理解，对于每个图像由一个估计的33的摄像机矩阵或对应矩阵组成。估计处理通常由用户输入近似的校直图像或者一个固定的图像序列来初始化，例如，佳能数码相机内的图像拼接软件需要水平或垂直扫描，或图像的方阵。在自动定位进行前，第4版的REALVIZ拼接软件有一个用户界面，用鼠标在图像大致定位，而我们的研究是有新意的，因为不需要提供这样的初始化。根据研究文献，图像自动对齐和拼接的方法大致可分为两类直接的和基于特征的。直接的方法有这样的优点，它们使用所有可利用的图像数据，因此可以提供非常准确的定位，但是需要一个只有细微差别的初始化

3、处理。基于特征的配准不需要初始化，但是缺少不变性的传统的特征匹配方法（例如，Harris角点图像修补的相关性）需要实现任意全景图像序列的可靠匹配。在本文中，我们描述了一个基于不变特征的方法实现全自动全景图像的拼接，相比以前的方法有以下几个优点。第一，不变特征的使用实现全景图像序列的可靠匹配，尽管在输入图像中有旋转、缩放和光照变化。第二，通过假定图像拼接是一个多图像匹配问题，我们可以自动发现这些图像间的匹配关系，并且在无序的数据集中识别出全景图。第三，通过使用多波段融合呈现无缝输出的全景图，可以产生高质量的结果。本文通过引入增益补偿和自动校直步骤延伸了我们以前在该领域的工作，我们还描述了一个高效

4、的捆绑调整实现并展示对任意数量波段的多个重叠图像如何进行多波段融合。本文其余部分的结构如下。第二部分说明所研究问题的几何学和我们选择不变特征的原因。第三部分介绍了图像匹配方法（RANSAC）和验证图像匹配的概率模型。第四部分中，我们描述了图像对准算法（捆绑调整），即共同优化每个摄像头的参数。五到七部分描述了处理过程，包括自动校直、增益补偿和多波段融合。第九部分中，我们给出了结论和对未来工作的展望。2. 特征匹配全景识别算法的第一步是在所有图像之间提取和匹配SIFT特征检测点。SIFT特征检测子位于不同尺度空间高斯插值函数的极值点处，对每一个特征点，特征尺度和方向被确定，这为测量提供了一个相似不

5、变的结构。尽管在这个结构中简单的采样强度值是相似不变的，但是不变描述子实际上是通过对方向直方图的局部梯度值进行累积计算得到的，这样就允许边缘有轻微的移动而不会改变描述子的矢量，对仿射变换提供了一定的鲁棒性。空间累积计算对平移不变性同样重要，因为感兴趣点位置通常仅在03个像素的范围内是精确的。为了实现亮度不变性可以使用梯度（消除偏差）和对描述子矢量归一化（消除增益）。由于SIFT特征在旋转和尺度变化时是不变的，我们可以处理具有变化的方向和大小的图像（见图8）。值得注意的是，这是传统的特征匹配技术不能实现的，例如Harris角点图像修补的相关性。传统的相关性在图像旋转时是变化的，Harris角点在

6、改变图像尺度时也是变化的。假设相机绕光学中心旋转，图像的变换群是一个对应矩阵的特殊群。由一个旋转矢量和焦距将每个摄像头参数化，就给出了成对的对应矩阵，其中 （1）并且是均匀的图像坐标（，其中是二维的图像坐标）。4参数的相机模型定义为： （2）对旋转使用指数表示： （3）在这个变换群中，理想条件下将会使用不变的图像特征。可是，在图像坐标中对于小的变换表示如下： （4）或者等价于 ，其中， （5）是通过一个关于的对应线性化得到的仿射变换。这意味着每个小的图像修补经过一次仿射变换，并且合理利用了在仿射变换下局部不变的SIFT特征。一旦从所有n个图像中提取特征点后（线性时间内），需对特征点进行匹配。由

7、于多个图像可能重叠在一个单一的光线上，在特征空间内每个特征点需和它最近的k个领域点匹配（k=4），通过使用k-d树算法找到近似最近的领域点，时间复杂度为O（）。k-d树是一种轴对齐的二进制空间划分，它在平均最高方差维递归划分特征空间。3. 图像匹配图像匹配的目标是找到所有匹配（例如重叠）图像，稍后图像匹配连通集会成为全景图。由于每个图像可能和任意其他一个匹配，这个问题一开始就呈现是出图像数的二次方。为了得到一个好的拼接结果，对于图像几何而言，每个图像只需要和少数重叠的图像来匹配。从特征匹配这个步骤中，我们已找出图像间有大量匹配点的图像。对于当前图像，我们将m幅图像作为可能的匹配图像（m=6），

8、这m幅图像与当前图像有最大数量的特征匹配点。首先，使用RANSAC算法选择一系列和图像间对应矩阵兼容的内点，然后应用概率模型做进一步的验证。3.1 使用RANSAC算法的鲁棒对应矩阵估计RANSAC（随机抽样一致性算法）算法是使用最少的一组随机采样匹配点的一种鲁棒估计过程，用来估计图像变换参数，并找到与数据具有最好一致性的解决方案。在全景图的情况下，我们选择r=4对匹配特征点，使用直接线性变换（DLT）方法计算图像间的对应矩阵H。重复500次试验，选择内点数最大的解决方案（在像素误差范围内，其预测和H是一致的）。假设一对匹配图像间的特征匹配点是正确的概率（内点概率）为，n次试验后找到正确变换的

9、概率为： ） （6）经过大量试验后，找到正确对应矩阵的概率非常大。例如，对于内点概率，在500次试验后，未找到正确对应矩阵的概率为。RANSAC算法本质上是一种估计H的采样方法，如果用对数似然和的最大化代替内点数量的最大化，结果是最大似然估计（MLE）。此外，如果变换参数的先验值是有效的，可以计算出最大后验概率（MAP）。这些算法被分别称为MLESAC和MAPSAC。3.2 图像匹配关系验证的概率模型对两两图像间是否存在匹配关系，我们使用一系列几何一致的特征匹配点（RANSAC内点）和一系列在重叠区域内，但不一致的特征点（RANSAC外点）来验证。验证模型通过比较这些正确匹配产生的一系列内点和

10、错误匹配产生的一系列外点的概率来进行验证。对于一幅给定的图像，重叠区域内总的匹配特征点数为，内点数为。图像是否有效匹配通过二进制变量表示。第个匹配特征点是否为内点被假定为独立的贝努力分布，以便于内点总数服从贝努力分布： （7） （8）其中，是可以正确匹配图像时特征点为内点的概率，是不能实现图像匹配时特征点为内点的概率；表示特征匹配点变量的集合，内点数，B（.）是贝努力分布，表示如下： （9）我们选择，则可以使用贝叶斯规则（式10、11）计算正确图像匹配的先验概率。 （10） （11）如果满足 （12）我们可以实现图像匹配。假定，进一步得出正确图像匹配的判定条件： （13）其中，。尽管在这我们选

11、择了，和的值，但在原理上可以从数据中进一步确定这些值。例如，可以通过在大的数据集中计算一部分匹配点和正确的对应矩阵相一致来估计。一旦图像间的匹配点对确定，我们可以找到全景序列作为连接匹配图像集，它可以识别图像集中的多个全景，拒绝不匹配的噪声图像（见图2）。 （a）图一 （b）图二（c）SIFT匹配点1 （d）SIFT匹配点2（e）RANSAC内点1 （f）RANSAC内点2（g）依据对应矩阵的图像对准图1，从所有图像中提取SIFT特征点。使用k-d树匹配所有特征点后，对于一个给定图像，用有最多特征匹配点的m幅图像进行图像匹配。首先执行RANSAC算法计算出对应矩阵，然后调用概率模型验证基于内点

12、数的图像匹配，在这个例子中，输入图像是517374像素，有247个正确特征匹配点。（a）图像匹配点（b）图像匹配点的连接分量（c）输出全景图图2，可识别全景图。考虑一个特征匹配点的噪声集，我们使用RANSAC算法和概率验证过程找到一致的图像匹配（a），每个图像对间的箭头表示在图像对间找到一致的特征匹配点集，图像匹配连接分量被找到（b），拼接成全景图（c）；注意到该算法对不属于全景图的噪声图像不敏感。4. 捆绑调整考虑到图像间的几何一致性匹配集，使用捆绑调整解决所有相机参数的问题，这是重要的一个步骤，由于成对对应矩阵拼接将会造成累计误差，忽略图像间的多重约束，如全景图两端应联合起来。图像一个接一

13、个被添加到捆绑调节器，最佳匹配图像（一致匹配数目最大）在每一步被添加，新图像用与最佳匹配图像具有相同的旋转和焦距长度初始化，然后相机参数使用L-M算法被更新。我们使用的目标函数是一种抗差总和平方预测误差。也就是说，每个特征点被投影到所有与它匹配的图像中，并且平方图像距离的总和依据相机参数最小化。考虑到对应关系（表示在图像中第k个特征点的位置），残差表示为 （14）其中对应到的点是对应于点从图像到图像的投影 （15）误差函数是所有图像抗差剩余误差的和，表示如下: （16）其中n是总的图像数,I（）是和图像匹配的图像集,是图像和图像的特征匹配集。我们使用Huber鲁棒误差函数,如下所示: （17）这个误差函数结合将范数的快速收敛性作为内点的优化方案（距离小于），和将范数的鲁棒性作为外点的方案（距离大于）。作为初始化过程中使用的外点距离，个像素点作为最终结果。这是一个我们使用L-M算法解决的非线性最小二乘问题。每次迭代的形式如下： （18）其中是所有参数，是残差，。在（对角线）协方差矩阵中，我们先前编码的有关参数改变了，如下所示：