夜间图像增强.docx

夜间图像增强.docx

《夜间图像增强.docx》由会员分享，可在线阅读，更多相关《夜间图像增强.docx（14页珍藏版）》请在冰豆网上搜索。

夜间图像增强

光照不均匀图像的自然特性增强算法

摘要

图像增强在图像处理和分析中的起着重要作用。

在各种增强算法中，Retinex算法作为基础的算法可以有效地提高细节，并已被广泛采用。

基于Retinex算法把照明去除作为缺省处理方式，但是，该方式没有考虑反射的程度，因此，不能有效地保留非均匀照明图像中的自然特性。

然而，图像增强的目的是符合视觉认知，其自然性质是必不可少的，需要通过增强图像中的自然细节信息，我们提出了一种增强算法用于非均匀照明的图像。

总体上，本文提出了以下三个主要研究结果。

首先，提出了明度排序误差测量，用于客观地评价图像的自然特性。

第二，提出了亮通滤波器（bright-pass）将图像分解到反射率和照明，分别确定细节和图象的自然状态。

第三，我们提出了一个双对数转换函数实现照明映射，实现图像中的细节和自然状态达到平衡。

实验结果表明该算法不仅可以提升图像中细节，而且保留了非均匀照明的图像的自然特性。

1、引言

图像增强的主要目标是使图像处理之后比原始图像更适合特定的应用。

到现在为止，图像增强已被应用到科学和工程的多种区域。

如大气科学，天文学，生物医药，计算机视觉等。

许多图像增强算法都已经被提出如基于Retinex算，反锐化掩模算法，直方图均衡化（HE）算法，等等。

部分算法专注于细节增强，但通常会导致不自然的视觉效果，如光源混乱和似人为效果（artifacts）。

因此，一些人试图减少以细节换取过度增强的代价。

Retinex理论认为色彩的感知与反射具有很强的联系，而且可见光到达观察者的量依赖于反射率和照明的乘积。

大多数基于Retinex的算法是通过去除反射率来增强照明的效果，因此，它们可以明显的增强细节。

但是，不可能确切地除去照明场景的凹凸深度。

一些中置/环绕算法采取照明的局部卷积来代替不考虑反射率的上限。

实际上，反射率应该考虑在内，它表示表面不能反射多于比它接收的光。

此外，简单地删除照明是不合理的。

基于反锐化掩模的算法通常把图像分解为高频和低频两个方面，并分别进行处理。

低频信息对于这些算法抑制过度增强是很有用的。

然而，这些算法只是简单的一起整合处理高频和低频的信息，这往往未能达到细节和自然特性之间较好的折中。

其结果是这些算法需要一个对每个图像以获得最佳结果而采取的重新调整的过程。

HE技术很简单，但被广泛用于图像增强。

由于常规HE算法可能导致过度增强，许多已经提出的算法被限制，如照明保存和对比度的限制，照明的保存在应用中非常有用，但是，一些在不恰当的强度地区，对于非均匀照明图像，照明保持不利于细节增强，如暗区。

对比度受限算法抑制过度增强是通过重新分配直方图使其高度不超出限制。

但是，对于直方图有很大的不同的严重的非均匀照明图象，这是不容易解决的。

为了保护自然特性以及增强细节，Chen等人提出了如下的自然特性保护的概念用于图像增强。

图像增强后的周围环境不应该被大幅度改变，如不应有光源应引入到现场，不应该有光晕补充的效果，不应该有阻挡效果。

由于没有确切的信息保真度的基本要求，我们优化的概念为：

图像的全局环境不应被严重改变，光源的方向不应该明显地改变。

最近，一些基于Retinex理论的自然增强算法提出了通过保留自然特性来增强细节。

但是，这些算法不适用于非均匀照明的图像。

因此，本文提出了一个在非均匀照明的图像中保留自然特性增强的算法。

总体上，我们将讨论三个主要问题，即，自然特性保护，强度的分解，以及照明效果。

首先，用自然特性的明度排序误差（LOE）措施来评估增强图像。

第二，我们利用确保了反射率被限制在范围内的亮通滤波器（bright-passfilter）分解的图像。

第三，用双对数变换处理照明，使照明不会由于空间变化淹没细节。

实验结果表明，该算法可以实现对光照不均匀图像的相应结果。

本文的其余部分安排如下:

下一节介绍了对关于细节增强的观察和自然特性的保护。

第三节给出LOE度量的定义，提供增强算法的技术细节。

亮通滤波器和双对数变换，将在第四节进行描述。

第五节我们展示最先进的算法在实验中的结果。

最后，第五节是本文的结论。

2、观察

在本节中，我们对细节增强以及自然特性的保护进行观察，这两点最后可以归纳为图像增强的两种约束。

如图1所示，图像可以被分解成不同的特征空间。

例如，基于小波变换的算法，基于曲波的算法，等等，将图像视为不同频率的混合。

基于Retinex的算法通常分解图像为照明和反射率。

一般情况下，低频信息和照明代表全局的自然特性，高频信息和反射率表示局部的细节。

由于图像的分辨率是有限的，故一种增强算法必须要适当平衡不同的信息。

总的来说，极端的低频信息可能淹没的细节，极端高频信息可能会造成视觉的不自然。

图2示出一组图片经广义反锐化掩膜（GUM）和单尺度Retinex（SSR）处理。

从图2（b）中我们可以看到，在黑暗区域的细节仍然看不见。

这是因为低频信息太特别。

与此相反，图的天空区域，图2（c）看起来不自然。

SSR简单地移除照明而不考虑反射率的范围，因此，它导致光源的混乱和过度增强，如图2（d）所示。

直观地说，我们通过一维信号如图3所示进一步说明照明的效果。

图3（a）中虚线表示原来的强度，图3（b）是图3（a）的照明和反射率共同作用的结果。

我们可以看出，原始的强度在某些局部区域稍有变化，这样难以观察它的细节。

一些算法采取反射率随着强度而增强的办法。

虽然反射率具有明显的局部对比度，但它不能代表原强度的全局趋势。

相反，我们采取了照明的压缩版考虑，获得了增强的结果，如图3（d）所示。

我们可以看到，图3（d）中的局部变化是显而易见的，而它的全局趋势是仍是随原来的强度变化。

因此，为了加强对自然特性的保护，该算法的目的是保持强度的全局趋势的同时改善图像的局部变化。

从物理学角度，我们提出了两个约束条件。

第一个是细节的约束，通过考虑反射率的特性将反射率限制在一个合理的范围。

第二个是自然特性的约束，不同的局部区域照明的相对顺序不应该被显著的改变。

因此本文的其余部分将集中于（a）提取反射率合适的范围，以及（b）在不改变相对顺序对照明压缩。

3、自然特性指标

由于图像质量的评价关系到人类视觉系统，对图像增强主观的有效性没有统一的措施，大多数算法是用来测量图像的重要特征（如用对比度来评估细节的改善和熵是用来测量的灰度级分布）。

根据上述的分析，相对照明的顺序对于自然特性的保护很重要的，我们建议用LOE客观地评估自然特性的保护。

由于照明的相对次序表示光源方向和所述亮度的变化，故增强图像的自然特性与亮度在不同的局部区域的相对顺序有关。

因此，我们定义了基于原始图像I和它的增强版本Ie之间的明度排序误差的定量LOE措施。

图像的亮度L（X，Y）被赋于为三个颜色通道的最大值：

对于每个像素（x，y）的原图像I和它的增强版本Ie的之间亮度的相对次序定义如下：

其中m和n是高度和宽度，U（X，Y）为单位阶跃函数，⊕是异或运算符。

LOE度量被定义为：

从LOE的定义，我们可以看出，较小LOE值能更好的将亮度顺序保存下来。

为了降低计算复杂度，我们采取下采样版本的DL和DLe的尺寸DM×DN，来取代L和Le的DLE。

该向下抽样的图象的大小和原始图像之间的比r被设置为R=50/min（M，N）。

其结果是大小DM×DN的下采样图像的尺寸是[M*R]×[N*R]。

4、算法

在本节中，我们提出了包括三个部分的技术细节的增强算法，如图4所示。

首先，原始图像是通过亮通滤波器分解成反射率和照明。

其次，照明是通过使用双对数转换处理。

最后，增强后的图像是通过合成反射率和所映射的照明获得的。

A.亮通滤波器的定义

虽然许多算法可用于照明的估计，但他们没有考虑反射率的范围，并且通常会导致过度增强。

（例如用SSR获得的反射率的50％已经超过1）。

因此，我们提出的亮通滤波器，能够将反射率限制到合适的区域。

亮通滤波器的基本思想是：

对于一个相邻像素值为a的像素，其效果正相关影响中心像素频率值b的像素。

一般情况下，邻近的像素可以灵活地针对不同的应用程序来定义。

由于频率的统计特性，其归一化可以作为相邻像素的亮通滤波器的权重，我们假设使用略有不同的邻近像素过滤的结果之间无显著差异。

相应地，实验结果表明，该滤波结果是采用四连通性和其他邻近的像素获得，八连通性也是相似的。

为简单起见，我们设置的像素G（X，Y）的邻近像素为四连通的五像素方形。

对于k值在（x，y）处的像素，

（x，y）表示值L邻近像素的数量。

对值k和L的邻近周围的图像像素频率Q’（K，L）表示如下：

其中m和n是像素的高度和宽度，因为数字信号的频率Q’（K，L）是容易受噪声影响而且变化很大，我们利用其局部均值Q（K，L）来代替：

其中win是窗口大小。

为了去除噪声，以及保留本地频率的趋势，窗口win不应该太小或太大。

此外，一些图像比其他的图像占据较窄的灰度范围，因此窗口大小应设置与灰度级相关，窗口大小可以根据经验设定如下：

亮通滤波器、带通滤波器，是相邻的具有正相关频率Q（K，L）像素的重量加权平均，如下：

其中，Ω表示局部掩膜中心在坐标（x，y），局部掩膜的大小设置为本文中15×15，单位阶跃函数U（X，Y）确保只考虑比它更明亮的邻近像素，归一化因子W（X，Y）可以确保像素权重的总和为1。

B、使用亮通滤波器进行图像分解

根据Retinex理论，反射光的亮度是反射率和照明的产物，如式（11）

其中

是颜色通道c的亮度，

是相应的反射率，F（X，Y）是投射在场景的表面上的照明。

大多数的中置/环绕Retinex算法评估照明利用高斯滤波器或双边滤波器，这通常会导致明照明比反射亮度暗。

这种不合理意味着反射率大于1且表面反射的光线比它收到还要多。

基于假设的照明是局部每个像素的极大值，我们采用亮通滤波器的照明来评估。

为简单起见，我们假设三个颜色的通道具有相同的照明。

不同于传统的滤波器，我们只需要考虑比中心像素更亮的邻近像素。

与较暗区域相比，很明显，靠近照明区域更明亮。

我们以强度L（X，Y），使用

（1）式作为照明的粗评价，可以透过亮通滤波器完善它：

然后，反射率R（X，Y）可通过除去上述照明获得：

图5示出通过亮通滤波器对图像进行分解的示例。

我们可以看到，反射率图像更多呈现的细节、照明图像更多呈现入射光的周围环境，它和我们之前的分析一致。

C、使用双对数转换处理光照映射

作为映射的照明图像将与反射率图像合成得到最终的增强图像，它不应该抑制的细节，所以它是足够明亮的，同时照明顺序应予以保留。

有效的直方图规格能够保持照明顺序，我们通过直方图规定照明，而我们的任务重点是找到一个合适的形状作为指定的直方图。

根据我们的实验结果，方块的形状（thelogshape），由（14）式给出，适用于大多数的图像。

其中ε是一个小的正的常数，根据经验设定为1。

然而，利用直方图规格处理图像的照明曾经出现过类似的，事实上，根据输入图像的不同强度，映射的照明也会略有不同。

由于方块型直方图规定可以使映射照明照明足够亮，根据输入照明的灰度级分布，我们可以通过稍许增加低灰度级的像素代表差异。

实验结果表明，它与直方图设定为照明方块很适合。

因此，我们利用加权直方图MP（n）代替。

其中δ是脉冲信号，修改后的直方图不仅考虑了大量的像素，而且也考虑了灰度级的值。

根据累积密度函数的定义（CDF）则加权直方图的CDF是：

类似地，在指定的直方图，s（z）的CDF定义如下：

其中z是在[0，255]中的一个非负整数，ε是一个小的正常数。

根据直方图规格的定义，BLT的目的是使Z的值满足：

的值由下式给出

映射的照明可以通过BLT获得改变：

D、反射率和映射照明的合成

如上面所提到的，照明的急剧变化不利于细节的显示，但照明是自然特性中必不可少的，为了增强细节和保持图像的自然特性，需考虑映射照明。

我们通过合成R（x，y）和Lm（X，Y）获得最终的增强图像：

由于不同的局部区域映射照明的亮度与原来的照明相对顺序是一致的，很容易验证反射率为1的像素的相对顺序不会改变。

此外，根据在不同色彩空间的色调的定义，如HSI及HSV，像素的色调值依赖其三原色值（R、G、B）的比例。

由于三原色值的比率在图像增强前后没有发生变化，故所提出的算法能够保存图像的色调值。

5、实验与讨论

我们利用150多个图像数据集来测试该算法，并且与SSR和MSR这两个传统的算法以及四种最近提出的算法GUM、NECI、BPDHE和RACE进行比较。

该数据集包括：

使用佳能数码相机拍摄的图像46张，110张的图像是从一些组织/公司如美国宇航局和谷歌的网站下载，该数据集的所有图像在局部区域具有低对比度，但在全局空间存在严重的照明变化。

我们很高兴能够在我们的新浪博客分享可执行格式的数据集和编码。

这些比较算法的主要参数设置如下：

SSR：

高斯函数的空间范围是80。

MSR：

三个高斯函数的空间范围分别为20，80，和200。

GUM：

利用具有最大增益设置自适应增益为5和对比度增强因子为0.005。

NECI：

纹理系数被设定为5。

RACE：

喷雾（spray）像素数为20，平均化的喷雾数目为400。

对于参数的深入描述，我们建议读者参考文献[5],[6],[12],[15],[17],[19].

由于空间的限制，本节介绍八张具有代表性的图像，包括一个下雨图像，一张清晰图像，二张多云图像，二张黄昏图象及二张夜间图像。

我们首先从主观方面测试算法，然后利用离散熵、能见度级描述以及提出的LOE措施进行客观的评估，图6-13显示了所选择的图像处理的结果。

A、主观评估

由于SSR和MSR简单地把反射率作为最终的结果，导致增强图像的光源方向都不明确，如图6（b）-13（b）和图6（c）-13（C）所示。

同时，一些恒定区，如图8（b）和8（c）所示图中的天空区域，相当黑暗，此外我们可以看到，SSR在夜间图像中引入了明显的光环效应、MSR抑制光晕的效果是以细节作为代价的，如图6（b）和（c）所示。

与SSR和MSR相比，我们的算法能够避免人为效果（artifacts）以及保护光源的方向。

GUM同时考虑低频和高频信息，但它并不能良好的平衡这两种信息。

我们可以从图6（d）-13（d）看到。

GUM凸显细节很明显，但由于过度增强大多数增强图像看起来不自然，BPDHE是一个全局性的直方图均衡化算法，该算法能有效的保存输入图像的照明顺序。

然而，由于BPDHE保留了输入图像的强度，它的缺点在于突出了低强度区的细节，如图6（f）-13（f）所示。

相比之下，我们的算法细节增强和自然特性保护上具有较好的折中。

NECI能够很好地保留自然特性，但它往往造成一些局部地区的细节损失，如标注在图8（e）和图11（e）所示的矩形区域。

RACE在需要纠正色偏的场景中很有用，如图6（g）12（g）和13（g）所示。

RACE校正全局颜色，以满足GW和WP先验。

但是，增强的图像失去了表示其原有场景重要的周围环境，同时通过RACE增强一些图像，仍然很难观察，如图9（g）。

从增强的图像，我们可以看到，我们的算法既保留了图像周围的环境又增强了细节。

B、客观评价

由于主观评价取决于人类的视觉系统，很难找到与主观评估一致的客观度量，客观的评估通常用来解释图像的一些重要特征，我们通过离散熵和能见度描述符来评估细节增强。

同时，我们通过提出的LOE措施来评估自然特性的保护。

表一展示了八组图像的离散熵。

如在[34]中定义的，离散熵是随机性的统计测量，较高的熵值通常表示更多的细节，从表一中，我们可以看到，我们的算法的熵值接近于GUM并且优于其他五种算法。

根据上述细节增强的表现，NECI具有7种算法中最低的熵值。

表二展示了水平能见度描述符的定量测量，其表达了在增强图像对比度上改进的质量。

总体上，高能见度水平对应更为明显的细节。

从表二中，我们可以看到，GUM获得高能见度水平，而我们的算法仅次于它。

然而，GUM的高能见度的水平，在某些局部区域会导致严重的过度增强，例如图中的天空区域。

如图6（d）和图12（d）所示。

表Ⅲ表明LOE的定量量度，这是用来对自然特性保护进行定量评价的。

我们的算法可以保留明度顺序，优于SSR，MSR，GUM，NECI和RACE。

但是，BPDHE获得最低LOE值。

注意，BPDHE是一个全局性的直方图均衡化技术，它时而不能提高局部细节。

如图7（f）和图8（f）其中有些暗区不能得到充分的提高。

综上所述，与当前增强算法相比，本文提出的算法不仅可以提高细节，而且还保持了非均匀照明图像的自然特性。

该算法从主观方面和客观方面都实现了良好的质量。

虽然我们的算法不如一些其他的算法（如RACE）在应用色彩校正上的表现，但是我们的算法是通过分别计算三个色彩通道照明来纠正色偏。

6、结论

本文对于增强非均匀照明图像提出了保护自然特性的算法，这不仅提高了图像的细节，而且还保留了图像的自然特性。

LOE措施，它在客观评价保护自然特性表现良好，实验结果表明，通过该算法提高了图像在视觉上的观赏性，自然性。

但是，因为我们的增强算法没考虑到在不同场景光照之间的关系，它可能在视频应用场景变化明显时会引入轻微的闪烁，这将是我们今后的工作。