暗夜成像1.docx

暗夜成像1.docx

《暗夜成像1.docx》由会员分享，可在线阅读，更多相关《暗夜成像1.docx（16页珍藏版）》请在冰豆网上搜索。

暗夜成像1

摘要——我们描述了一个新的在具有挑战性的照明条件下的获得实时图像增强的集成算法。

这样的条件包括低照明、雾态和高动态范围的情况。

该算法自动检测功能障碍的主导源，然后根据它是不是低照明，雾态或其他，一个相应的预处理被施加到所输入的视频上，其次是核心增强算法。

视频输入的是空的冗余被用于促进实时处理和提高输出的时空一致性。

该算法可以作为一个独立的模块，或者集成在一个视频编码器或视频解码器，用于进一步的优化。

1、介绍

视频监控设备和移动设备，例如数码照相机，手机，笔记本电脑越来越常见了，相机有望获取，记录，有时还能压缩和传输所有灯光和天气下的视频内容。

然而多数相机不是专门为设计的通用的和防风雨的，致使录制视频在一些情况下无法关键应用。

图像和视频的处理和增强包括伽马校正、去雾态、去模糊等与在研究领域提出多年的许多成功的算法。

虽然不同的算法执行不同的照明功能，它们经常需要繁琐，有时需要手动输入依赖性的微调算法参数。

此外,不同的特定类型的功能往往需要不同的具体算法。

取低照明情况下视频的增强作为一个例子，为了缓解这个问题,远和近红外技术用于许多系统,同时,基于各种图像处理方法也被提出。

虽然远和近红外系统用于检测物体如行人和动物在光线不足的情况下非常有用，特别是在“专业”视频监控系统中,他们有着共同的缺点,可检测对象必须有一个温度高于周围环境。

在许多情况下,关键对象类似于其周围的温度,例如一个大洞,红外系统不是很有用。

此外,红外系统通常更昂贵,难以维护,相对传统系统有较短的寿命。

他们还引入额外的，并且功耗特别大。

在许多消费者智能手机上例如视频采集和通信类的应用程序，由于成本和功耗等问题，部署红外系统通常情况下是不可行的。

常规的低照明图像和视频处理增强算法例如【5】和【6】经常使用对比度增强技术来输入低照明视频降低工作噪声，如色调映射，要紧随其后直方图拉伸和均衡，在低照明图片和视频中用伽马校正恢复视觉信息。

虽然这些算法能够在视频增强上达到很好的效果，但是他们对于实践实时应用程序，尤其是移动设备来说太复杂。

举例来说，在【5】中即使是GPU加速，算法的处理速度也只有6fps，在【6】中恢复每个图像需要时间都会超过一分钟。

在本文中，我们提出了一种新颖的适用于广泛的输入障碍的综合视频增强算法。

它较低的算法和内存的复杂性都在许多手机的合理可用性范围内。

在我们的系统中，一个低复杂自动模块首先确定输入视频主控源的损失，然后输入的是基于特定的障碍来源的预处理，其次是增强处理的核心模块，最后，应用处理后产生增强的输出。

此外，时空相关性用来提高算法的速度和视觉质量的输出，使其能够被嵌入到视频编码器或解码器，以此可以在视频编码器中分享时间和空间预测模块，进一步降低复杂性。

本文组织如下。

在本文第二部分，我们提出了启发式证据来促进想法。

在第3部分中我们详细解释了增强算法的核心。

而在第四部分中，我们描述由于减少计算复杂性和内存的各种算法。

第5部分包含实验结果。

考虑到在实际应用中，视频增强模块可以部署在多个阶段的端到端出场。

如压缩传输/存储之前，或传输/存储之后但是在压缩之前，或者说在压缩之后而在视频内容显示在监视器之前。

我们在实验中不同实验步骤应用该算法检查相关复杂性和RD权衡。

一种新颖的集成视频增强算法

原始的例子（上）,倒低照明视频/图片（中间）和霾视频/图像（底部）。

观察我们的算法是一个关键的动机,如果我们执行pixel-wise（单像素）反转低照明视频或高动态范围视频,结果看上去很类似于朦胧的视频。

作为一个说明性的例子,我们随机选择（谷歌）和捕获100图片和视频剪辑在阴霾,分别低照明和高动态范围的天气条件。

一些例子是图1所示

（1）

在这里,“反转”操作是简单的

（x）和

（x）在强度对应的颜色（RGB）通道的像素c分别输入和倒架。

从图1中可以清楚地看到,至少在视觉上,这段视频在朦胧的天气相似的反向输出视频捕获在低照明和高动态范围的条件下。

这是直观的,因为[7]中所示,在所有这些情况下,如模糊和低照明视频,视频被照相机的光线与空气光混合（环境光被大气中的颗粒进入视线反射）。

唯一的区别是实际的空气光的亮度,白色的烟雾视频,黑色在低照明和高动态范围的情况下视频。

观察证实了各种烟雾检测算法。

我们实现了烟雾检测使用基于HVS阈值范围的方法[8],黑暗中对象减法（DOS）方法[9],[10],基于空间频率的技术,并发现朦胧,倒低照明视频和反向高动态范围都归类为朦胧的视频剪辑,视频而不是“正常”的片段。

每个像素的直方图的最低强度的三个颜色通道的阴霾视频（上）、低照明视频（中）和高动态范围视频（底部）。

我们还进行了卡方检验检查统计相似性朦胧的视频和倒低照明和高动态范围的视频。

卡方检验是一个标准的统计工具广泛用于确定观测数据与一个特定的假设相一致。

[11]解释,在卡方测试,计算一个值,通常,如果p>0.5,它是合理的假设预期的观测数据的偏差是由于单独的机会。

在我们的实验中,将分布计算从朦胧的视频和观察到的统计数据从倒低照明和高动态范围测试视频。

在实验中,我们划分区间[0,255]的颜色通道强度成八间隔相等,对应于一个自由度的7。

卡方分布表,如果我们采用p>0.05的共同标准,相应的上限阈值卡方值应该是14.07。

直方图的颜色通道的所有像素的最小强度为模糊视频,倒低照明和反向高动态范围测试中使用的视频,显示了一些示例图2。

卡方测试的结果在表1，从表中可以看出,卡方值远小于14.07,证明我们的假设之间的相似性霾和倒低照明视频,视频和霾视频和高动态范围之间视频是合理的。

通过实验，我们还发现，像素的最小的三个颜色通道的强度较低，有很高的概率在地区房屋定位，车辆等。

我们引入区域的概念对这些地区的利益。

直观地展示投资回报率，我们计算出的最小强度的图像在朦胧的视频颜色通道，倒低照明视频倒高动态范围视频。

三例图3所示，图4和图5。

图3朦胧的视频/图像的例子（左）和黑暗通道图像（右）。

图4低照明的例子视频/图像（左）和黑暗通道图像（右）

图5高动态范围的视频/图像的例子（左）和黑暗通道图像（右）。

总之，通过视觉观察和统计测试，我们发现，在一些具有挑战性的拍摄的视频照明条件是统计和视觉上相似的朦胧视频。

因此，可以想象的是，一个通用的核心模块可用于所有的这些情况下的图像增强。

三、一种通用的基于图像去雾视频增强算法

A:

基于核心图像去雾增强模块

因为适当的预处理后,在具有挑战性的照明条件下拍摄的视频,如低照明和高动态范围,表现出很强的相似性与朦胧的视频在视觉和统计领域,增强算法在计划的核心系统是一种改进的基于[12]图像去雾算法。

如上所述,大多数现有的先进的图像去雾算法（[13]、[12]、[14],[15]）是基于Koschmieder提出的著名的退化模型在1924年[7]:

R（x）=J（x）t（x）+A（1−t（x））,其中一个是全局光，R（x）是像素的强度X的摄像头捕捉，J（x）的强度原来的物体或场景，和T（x）为介质传输功能描述所发出的光的百分比物体或场景，达到相机。

该模型假定每一个退化的像素是一个组合的光和未知的表面辐射率。

介质传播介绍了什么比例的从物体发出的光或场景可以达到相机。

它是由场景的深度和大气散射系数的确定。

对于相同的视频，大气的散射系数是常数，光是影响更严重的在天空区域的光因为更长的距离。

在其他地区，如汽车，房子等，尤其是那些附近的，光是由光的影响较小。

所有的算法基于克什米德模型的关键部分是估计和T（x）从记录的图像强度I（x）以恢复J（x）从我（X）。

例如，在[13]，独立分量分析是用来估计介质传输的光。

在[12]，该介质传输的光由黑暗的信道估计方法，基于这样的假设，在一个局部介质传输常数。

在我们的系统中,我们估计t（x）根据[12]

其中ω=0.8和Ω（x）是一个本地9×9的块在本文中以x为中心。

由于我们的系统还针对的应用在移动设备中,cpu-and-memory-costly软消光方法[12]并不在我们的算法实现。

题注6

估计光值，我们首先注意到，在现有的图像去雾算法的方案通常是不稳健的，而且甚至光值的非常小的改变对于恢复图像或视频画面可能产生非常大的变化。

因此，计算光帧不仅增加整体系统的复杂性，同时也介绍了视觉不一致性框架。

基于此，我们提出了计算光只有一次，一个图像组（GOP）。

这样做是为了GOP的第一帧，然后相同的值被用于所有在同GOP后续帧。

在实施，我们也纳入了场景变化检测模块等检测光，不对齐的突然变化但GOP边界价值计算。

在我们的系统中，估计光，我们首先选择，在所有颜色的最小强度（RGB）通道是在图像中最高的100像素。

然后从这些像素，我们选择RGB值的总和最高的。

从这些连续的GOP，我们刷新光值使用方程

A=A∗0.4+

∗0.6,（4）

其中

是GOP中光值计算，A是全球大气光值。

这可以有效地避免对全球大气光值变换的严重影响，同时带来良好的图像恢复结果，并且节省大量的计算。

图像恢复的结果的例子图7。

排在倒数第一和第四帧的变化逐渐使用我们的算法。

接着，从公式

（2）中可以发现

.（5）

虽然（5）合理地除霾，通过实验我们发现，直接应用方程（5）可能导致低照明领域增强下，在高亮度区增强应用低照明的视频增强。

进一步优化计算t（x），我们专注于提高ROIs而避免处理的背景，如天空区域的低照明和高动态范围视频。

这不仅进一步降低计算的复杂性，而且也提高了整体的视觉质量。

为此，我们调整t（x）自适应而保持空间的连续性，从而带来更流畅的视频视觉感受。

我们引入一个乘数P（x）为方程（5），并通过大量的实验，我们发现，P（x）可设置为

然后（5）变成

）

背后的理念（7）如下。

当t（x）较小超过0.5，这意味着需要相应的像素需要增大，我们分配P（x）一个小的值使P（x）t（x）值更小。

从而增加这个像素的RGB强度。

另一方面，当t（x）大于0.5，我们通过增大对应的像素强度来抑制。

当t（x）接近1，P（x）t（x）可能大于1，导致轻微的“钝化”的像素，从而使整体视觉质量变得平衡且愉快的。

低照明和高动态范围视频，一旦J（x）被恢复，反转操作

（1）再次执行产生的原始输入增强的视频。

这一过程是在图6所示。

这种在引入P（x）后的改进在图9中可以看到。

B.自动减值源检测

正如上面提到的，我们使用通用的视频的分段算法可增强在一些具有挑战性的照明条件下获得的视频。

在除了这个核心增强模块，整个系统还包括一个视觉质量退化自动检测的主要模块，确定预源—通过像素的反演处理是必需的。

在这种情况下，当像素反转是必需的，不同像素的细微调整也可能使最终输出后增强的进一步优化。

这个流程图自动检测系统如图8所示。

我们的检测算法是基于经R.Lim等人[8]的技术的介绍。

为了降低复杂性，我们只在GOP的第一帧进行自动检测，再加上一个场景变化检测。

相应的算法的参数见表二。

测试

对在帧中的每个像素。

如果图像雾化的百分比大于60%，我们认为这个是朦胧的画面。

类似的，如果一幅图经过反演后像是一个模糊的图片，它会贴上一个低照明或高动态范围图像的标签。

而且这两个类型都要求在核心增强算法中引入乘数P（x）。

图9.通过在最佳的低照明和高动态增强算法中引入P（X）的例子：

输入左图，输出没有引入P（X）的增强算法的中间图和输出引入P（x）的增强算法的右图。

四.被提出视频增强算法处理的加速

在第三部分中被描述的算法是基于框架上的方法。

通过实验的结果，我们发现t（x）的计算结果时间占总的计算时间的60%左右。

为了节约时间和视频输入的低复杂性，在逐帧的基础上应用第三节的算法是不可取的。

它不仅有高难度的计算复杂度而且会使输出的结果容易受时间和空间噪声的影响。

破坏输出过程处理在时间和空间上的一致性，从而降低整体的感知质量。

为了解决这些问题，我们观察到t（x）和其它类型的参数之间有时间和空间上的联系。

因此，我们建议通过运动估计的引入来加速算法规则。

动态预测是艺术视频压缩标准的关键步骤。

在后来的编码框架中匹配块是为了找到最佳匹配块的编码和同样大小的已经被编码的和译码的块，视频压缩算法使用引用作为编码块的编码和仅仅编码引用和块编码的之间的不同。

从而减少对现成模块的需要。

在块被编码和块在一个参考帧中找到最佳匹配的过程被称作动态预测，这个最佳匹配通常由共同考虑成本和匹配的失真成本来决定的。

如果一个最佳匹配块被找到，这个当前的块将会在帧间模式中被编码，只有残留块被编码。

否则，当前的块将在帧间模式中被编码。

在动态预测中最常用的失真测量是绝对差异的总和。

t（x）的相对差异

图10.在预测块的像素及对比试块的像素中t（x）价值差异

为了验证使用时间块匹配和动态预测来加快他t（x）的计算是否可行，我们按照预测和参考块计算了不同的t（x）的计算做为像素点。

图10中的统计数据显示差异在几乎所有情况下不到10%。

因此，我们可以利用动态预测来计算密集型t（x）的计算只需要计算一些选择性t（x）的帧。

对于非关键帧，我们相应的使用他t（x）参考像素点的值。

为了降低动态预测过程的复杂性，我们使用成熟的快动作估计算法如增强预测区域的搜索。

当计算绝对差异的总和时，类似于【17】和【18】，我们只利用当前像素点的一个子集，使用模式参考块图11所示，用这种模式，我们在一个16*16的块中计算一个总共60个像素点的“感动”，约25%，当用通用处理器实施在软件中时，这些像素点位置在对角线或边缘，导致在绝对差异总和计算时约减少75%。

在我们的实现中，当该算法被展开在视频压缩之前或之后，我们首先把帧分开地输入到几组照片中去。

这几组照片可以包含一个固定的帧数或决定基于一个最大的照片组的尺寸和场景变化。

每一组照片开始于一个内部编码帧。

为了使其中所有的他t（x）值都被计算。

动态预测执行一组照片中剩下的帧。

类似于传统的视频编码，为此，每个p帧被分为不重叠的16*16块。

为了这个意向搜索使用绝对差异进行的总和定义一个阈值t。

做为块的绝对值差异的总和，如果绝对差异的总和是低于阈值t。

那么意味着一个最好的匹配块被找到，整个MB不需要计算t（x）的值。

否则，t（x）的值仍然需要计算。

在这两种情况下，当前帧的值被存储起来可能被用于下一帧。

流程如图12所示。

我们称这种加速算法为动态预测加速增强算法。

除了操作作为一个独立模块之外，未压缩像素的信息的输入和输出，动态预测增强加速算法也能被集成到一个视频编码器或视频解码器中。

当与译码器集成时，系统有可能使用运动信息中包含的直接输入视频比特流，从而分散了动态预测的整个过程。

这样的集成通常会导致RD损失，损失的原因首先动态预测模块编码器与增强模块集成或编码器与解码器的比特流增强解码不得优化寻找t（x）的最佳匹配值。

编码器与解码器进行解码，以增强比特流可能不是在寻找最佳匹配优化t（x）值。

例如，当加强管理模块与解码器集成，它可以解码输入比特流编码的低复杂度的编码ME范围。

传统的SAD或SAD加速度不是最佳的t（x）匹配搜索。

然而，通过大量的实验，与广泛使用的编码器和解码器，我们发现这样的质量损失通常很小，以及合理的节省计算成本。

将我加速增强算法的编码器和解码器的流程图在图15和图16所示。

有些比较可以发现，在第五部分。

五、试验结果

 为了评估所提出的算法，通过一系列的实验是在Windows计算机上进行（英特尔核心2，处理器运行在2.0 GHz的3G RAM）和iPhone 4上进行 。

在我们的实验中，测试视频的分辨率为640 x 480。

 图13低光图像增强算法的例子；THM的。

源输入（上）。

和增强的结果（下）

低照明的增强输出的例子，高动态范围和朦胧的视频分别显示在图13，图14，和图17。

我们可以从这些数据中看到，能见度的改善是明显的。

在图13中，黄色的灯光从窗口和标志，如“爱好镇”等汉字进行正确的颜色恢复。

在图14中，该车在原输入灯车牌上的字母读起来很困难。

我们的算法增强后，车牌变得更加清晰。

该算法同样适用于图17、18、19所示的朦胧的雨雪天气下拍摄的视频。

 图14高动态范围视频增强算法的原始输入实例（上），和增强的结果（下）。

导致在实验中针对这些情况形成了一个2dB的全体RD性能亏损。

另外，在图20中，好的框架RD亏损度的提升导致了编码译码。

在图21中，RD亏损是由运动估计的加速度和编码/译码造成的。

在图21中，RD亏损的起因是运动估计加速度在编译器的算法集成问题。

从总体上看，RD亏损是有运动加速度引进来的，集成是PSNR术语中的一小部分，该亏损在主观上并不明显。

我们也可以在编码器或译码器中用一个单独的运动估计集成模块来测量好的框架速度提升算法的计算复杂度。

计算复杂度的测量是以花费在每个框架提升速度的平均时间为依据的。

当提升模块速度法在编码译码器中集成时，针对这些情况，我们不能计算出实际的编码译码时间，以至于只能去计量它本身。

在表格三中显示到，在平均时间上，单个的运动估计模型比好的框架算法节约大约27.5%的时间点。

从另一方面看，与译码器的结合和好的框架算法相比，节省了40%的时间，而与编码器的结合与其相比则节省了大约77.3%的时间。

六．结论

在本文中，为了让实时视频增强处理能在一些具有挑战性的照明条件中辨识事物，比如低照明灯、坏天气（雾天，下雨天、下雪天）与高动态范围条件下，我们提出了一个新型快速有效的集成算法。

我们形象的有统计性的说明，模糊视频和视频抓拍在各种各样的有挑战性的照明条件中是非常简单的，然而一个单芯的增强算法可以与适当预处理和自动损坏源检测器一起在任何情况下使用。

当要维持好的视觉效果时，我们也可以描述很多缩减系统计算复杂度的方法。

还有受推荐的系统集成到视频采集、译码、传送、消费链等不同的模块中去时，同时也涉及到了交易问题。

面积的进一步提高包括预处理滤波器能够更好的瞄准特定的障碍来源、改善核心增强算法、还有就是写一个更好的加速算法。

当然，一个系统支持复合型损害的视频输入（晚上有雾的天气，模糊且低照明情况）也是非常重要的。