视频拼接关键技术.docx

视频拼接关键技术.docx

《视频拼接关键技术.docx》由会员分享，可在线阅读，更多相关《视频拼接关键技术.docx（13页珍藏版）》请在冰豆网上搜索。

视频拼接关键技术

全景视频拼接关键技术

一、原理介绍

图像拼接（ImageStitching）是一种利用实景图像组成全景空间的技术，它将多幅图像拼接成一幅大尺度图像或360度全景图，图像拼接技术涉及到计算机视觉、计算机图形学、数字图像处置和一些数学工具等技术。

图像拼接其大体步骤主要包括以下几个方面：

摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接（融合），和亮度与颜色的均衡处置等，以下对各个步骤进行分析。

摄相机标定

由于安装设计，和摄相机之间的不同，会造成视频图像之间有缩放（镜头焦距不一致造成）、倾斜（垂直旋转）、方位角不同（水平旋转），因此物理的不同需要预先校准，取得一致性好的图像，便于后续图像拼接。

相机的运动方式与成像结果之间的关系见下图。

图1：

相机的运动方式与成像结果之间的关系

图像坐标变换

在实际应用中，全景图像的取得往往需要摄像机以不同的位置排列和不同的倾角拍摄。

例如由于机载或车载特性，相机的排列方式不尽相同，不能保证相机在同一面上，如柱面投影不必然在同一个柱面上，平面投影不必然在同一平面上；另外为了避免出现盲区，相机拍摄的时候往往会向下倾斜必然角度。

这些情况比较常见，而且容易被忽略，直接投影再拼接效果较差。

因此有必要在所有图像投影到某个柱面（或平面）之前，需要按照相机的位置信息和角度信息来取得坐标变换后的图像。

理论上只要知足静止三维图像或平面场景的两个条件中的任何一个，两幅图像的对应关系就可以够用投影变换矩阵表示，换句话说只要知足这其中任何一个条件，一个相机拍摄的图像可以通过坐标变换表示为另一个虚拟相机拍摄的图像。

一般情况下8参数的透视投影变换最适合描述图像之间的坐标关系，其中8参数的矩阵为[m0,m1,m2;m3,m4,m5;m6,m7,1]；各参数对应的相机运动表示如下：

参数

对应摄像机的运动及成像效果

m2

x方向位移

m5

y方向位移

m0,m1,m3,m4

缩放，旋转，剪切

m6,m7

梯形失真（x方向和y方向形变），线性调频

如图2显示的是相机向下倾斜必然角度拍摄图像，这个角度与m6和m7具有对应关系，若是要取得校正图像，只需要对8参数矩阵求逆后进行坐标变换。

（a）原始图像

（b）x方向形变效果（c）倾斜校正后效果

图2：

（a）原始图像；（b）x方向形变效果；（c）倾斜校正后效果

图像畸变校正

由于制造、安装、工艺等原因，镜头存在着各类畸变。

为了提高摄像机拼接的精度，在进行图像拼接的时候必需考虑成像镜头的畸变。

一般畸变分为内部畸变和外部畸变，内部畸变是由于摄影本身的构造为起因的畸变，外部畸变成投影方式的几何因素起因的畸变。

镜头畸变属于内部畸变，由镜头产生的畸变一般可分为径向畸变和切向畸变两类。

径向畸变就是集合光学中的畸变像差，主如果由于镜头的径向曲率不同而造成的，有桶形畸变和枕型畸变两种。

切向畸变通常被人为是由于镜头透镜组的光学中心不共线引发的，包括有各类生成误差和装配误差等。

一般人为，光学系统成像进程当中，径向畸变是致使图像畸变的主要因素。

径向畸变致使图像内直线成弯曲的像，且越靠近边缘这种效果越明显。

按照径向畸变产生的机理，对视频图像进行校正。

效果如图3（b）所示，通过校正的图像，其有效像素区域缩小，一般可通过电子放大的方式进行校正，如图3（c）所示。

（a）

（b）（c）

图3：

（a）为原始收集图像；（b）为通过径向失真校正的图像；（c）为通过放大的图像

图像投影变换

由于每幅图像是相机在不同角度下拍摄取得的，所以他们并非在同一投影平面上，若是对重叠的图像直接进行无缝拼接，会破坏实际景物的视觉一致性。

所以需要先对图像进行投影变换，再进行拼接。

一般有平面投影、柱面投影、立方体投影和球面投影等。

平面投影就是以序列图像中的一幅图像的坐标系为基准，将其图像都投影变换到这个基准坐标系中，使相邻图像的重叠区对齐，称由此形成的拼接为平面投影拼接；柱面投影是指收集到的图像数据重投影到一个以相机焦距为半径的柱面，在柱面上进行全景图的投影拼接；球面投影是模拟人眼观察的特性，将图像信息通过透视变换投影到眼球部份，构造成一个观察的球面；立方体投影是为了解决球面影射中存在的数据不宜存储的缺点，而发展出来的一种投影拼接方式，它适合于计算机生成图像，但对实景拍摄的图像则比较困难。

如下图4所示，图像拼接处置流程示用意。

图4：

图像拼接处置流程示用意

匹配点选取与标定

由于特征点的方式较容易处置图像之间旋转、仿射、透视等变换关系，因此常常被利用，特征点包括图像的角点和相对于其领域表现出某种奇异性的兴趣点。

Harris等提出了一种角点检测算法，该算法是公认的比较好的角点检测算法，具有刚性变换不变性，并在必然程度上具有仿射变换不变性，但该算法不具有缩放变换不变性。

针对这样的缺点，Lowe提出了具有缩放不变性的SIFT特征点。

图5两幅图像中标定的匹配特征点

如上图5所示，图像的拼接需要在图像序列中找到有效的特征匹配点。

图像的特征点寻觅直接影响图像拼接的精度和效率。

对于图像序列，若是特征点个数≥4个，则很容易自动标定图像匹配点；若是特征点很少，图像拼接往往不能取得较为理想的效果。

图像拼接融合

图像拼接的关键两步是：

配准（registration）和融合（blending）。

配准的目的是按照几何运动模型，将图像注册到同一个坐标系中；融合则是将配准后的图像合成为一张大的拼接图像。

在多幅图像配准的进程中，采用的几何运动模型主要有：

平移模型、相似性模型、仿射模型和透视模型。

图像的平移模型是指图像仅在两维空间发生了

方向和

方向的位移，若是摄像机仅仅发生了平移运动，则可以采用平移模型。

图像的相似性模型是指摄像机本身除平移运动外还可能发生旋转运动，同时，在存在场景的缩放时，还可以利用缩放因子

多缩放运动进行描述，因此，当图像可能发生平移、旋转、缩放运动时，可以采用相似性模型。

图像的仿射模型是一个6参数的变换模型，即具有平行线变换成平行线，有限点映射到有限点的一般特性，具体表现可以是各个方向尺度变换系数一致的均匀尺度变换或变换系数不一致的非均与尺度变换及剪切变换等，可以描述平移运动、旋转运动和小范围的缩放和变形。

图像的透视模型是具有8个参数的变换模型，可以完美地表述各类表换，是一种最为精准变换模型。

图像融合技术一般可分为非多分辨率技术和多分辨率技术两类。

在非多分辨率技术中主要有平均值法、帽子函数法、加权平均法和中值滤波法等。

多分辨率技术主要有高斯金字塔、拉普拉斯金字塔、对比度金字塔，梯度金字塔和小波等。

（a）（b）

（c）（d）

（e）

图6柱面全景图像拼接

（a）-（d）为四幅不同视角的图像，（e）为最终拼接取得的柱面全景图像

亮度与颜色的均衡处置

因为相机和光照强度的不同，会造成一幅图像内部，和图像之间亮度的不均匀，拼接后的图像会出现明暗交替，这样给观察造成极大的不便。

亮度与颜色均衡处置，通常的处置方式是通过相机的光照模型，校正一幅图像内部的光照不均匀性，然后通过相邻两幅图像重叠区域之间的关系，成立相邻两幅图像之间直方图映射表，通过映射表对两幅图像做整体的映射变换，最终达到整体的亮度和颜色的一致性。

二、国内外现状

全景拼接侦查系统在国外已经有了较早的研究，早在1992年，剑桥大学的L.G.Brown就对图像拼接的核心技术进行总结，1996年微软研究院的RichardSzeliski提出基于运动的全景拼接模型。

Szeliski后来又接踵发表了若干这方面论文，2000年ShmuelPeleg提出改良方式，按照相机的运动方式自适应选择拼接模型，2003年M.Brown发表了SIFT特征进行图像拼接的方式，但计算量很大，2007年SeongJongHa提出移动相机系统的全景拼接方式，不仅保证效果，而且运算速度也不错。

在国内方面，很多高新企业、高校、科研院所都对全景拼接侦查系统的关键技术进行了深切的研究，目前已经取得了喜人的成绩，其中以上海凯视力成信息科技研发的“全景视觉态势感知系统”最具代表性，该系统功能完善、技术先进、性能靠得住，已在国内某型特种车辆上取得成功的应用。

上海凯视力成信息科技全景视觉态势感知系统——PVS9112型是实时的全固态无机械运动的高清360度凝望视频系统，系统提供实时的持续覆盖整个战场的全运动视频，人机交互界面直观快捷。

系统适应于恶劣环境，支持彩色和红别传感器，可以黑天和白天全天候工作，实时地图像处置和高清视频的显示，显示界面同时提供360度全景窗口和感兴趣区域的高清画面。

系统提供开发式结构，便于同其它系统如雷达等集成到一路，以取得一个完整的态势理解。

图7PVS9112大体结构

传感头：

传感头1传感头2传感头3传感头4

图8集中常常利用摄像头

图形界面：

图9PVS9112图形界面

特点:

∙实时的360度视频全景显示，便于对态势的感知理解、安全监视、目标探测。

从而提高平台的解决能力和安全防护性。

∙支持高清彩色和红别传感器。

日夜都可工作。

∙显示全局拼接画面、局部感兴趣。

∙图形交互界面。

并支持多种人机交互接口，支持触摸屏、鼠标、键盘、自概念按键、操纵摇杆等，可无缝接入已有系统。

∙无运动部件，高靠得住性。

∙适应车船飞机等恶劣的工作环境。

可选特征:

∙目标检测与告警

∙自动多目标跟踪

∙视频记录和回放

∙可选支持PTZ长距离光电探测系统，在全景视频上可以通过触摸的方式控制PTZ的快速转动到指定的位置，克服了传统操控PTZ方式的缺点，使得PTZ摄像机的功效大大提高。

∙图像透雾增强算法

∙电子稳像算法

开放式体形架构：

二、应用

从图像拼接的实际应用来看，主要有大型航空照片，卫星图像拼接，车载系统监控，虚拟场景实现，视频紧缩；很多资料上都提及车载系统的拼接，这种拼接侦查系统可以用于不同车辆，如反恐、安全监视、侦查、巡逻和警车等；系统给操作者提供车辆周围的实时全景图像，使之能够感知全面而丰硕的态势，操纵车辆的同时还可以有效将自己保护在车内，不用通过车辆的挡风玻璃就可以够实时操控。

全景图像极大地增强了用户的视觉感知系统，使其在特种车辆、军用和民用方面都拥有广漠的市场前景。

与传统的多画面监控相较，全景拼接画面更符合人眼观察，极大地提高了侦查的准确性。

但很少提及机载系统，因此，机载方面只要设计合理，应用前景是庞大的。

应用实例：

方式一：

大体模式

摄像机组+一或两个终端，支持记录或不记录，每一个终端所显示内容可以不同。

方式二：

增强模式

摄像机组+2以上终端，可通过GigE网络来扩展连接其他设备，如视频记录仪等。

收集和预处置模块，实现对视频信号的捕捉，并对摄像机组进行管理，如PTZ控制等。

在这一层，实现对不同路数、不同接口形式的摄像机的支持。

并作必要的预处置功能，如图像的缩放平移投影变换、数据紧缩等，为后续处置器准备好数据。

模块还通过量个GigE网络，将视频数据分发给多个不同的处置器或其它设备，如视频记录仪等。

这种组成结构，可适应不同应用需求：

如不同的摄像机种类和数量，终端处置功能要求不同样等。