夜间图像增强.docx

1、夜间图像增强摘要 2一、 引言 2二、 观察 3三、 自然特性指标 5四、 算法 6A.亮通滤波器的定义 6B、 使用亮通滤波器进行图像分解 7C、 使用双对数转换处理光照映射 9D、 反射率的合成和映射的照明 10五、 实验与讨论 10A、 主观评估 13B、 客观评价 13六、 结论 15光照不均匀图像的自然特性增强算法摘要图像增强在图像处理和分析中的起着重要作用。 在各种增强算法中， Retinex 算法作为基础的算法可以有效地提高细节， 并已被广泛采用。 基于 Retinex 算法 把照明去除作为缺省处理方式，但是，该方式没有考虑反射的程度，因此，不能 有效地保留非均匀照明图像中的自然

2、特性。 然而，图像增强的目的是符合视觉认 知，其自然性质是必不可少的，需要通过增强图像中的自然细节信息， 我们提 出了一种增强算法用于非均匀照明的图像。 总体上，本文提出了以下三个主要研 究结果。首先，提出了明度排序误差测量 ，用于客观地评价图像的自然特性。 第二，提出了亮通滤波器 (bright-pass) 将图像分解到反射率和照明， 分别确定 细节和图象的自然状态。第三，我们提出了一个双对数转换函数实现照明映射， 实现图像中的细节和自然状态达到平衡。 实验结果表明该算法不仅可以提升图像 中细节，而且保留了非均匀照明的图像的自然特性。一、引言 图像增强的主要目标是使图像处理之后比原始图像更适

3、合特定的应用。 到现 在为止，图像增强已被应用到科学和工程的多种区域。如大气科学，天文学，生 物医药，计算机视觉等。 许多图像增强算法都已经被提出如基于 Retinex 算，反 锐化掩模算法，直方图均衡化(he算法，等等。部分算法专注于细节增强，但 通常会导致不自然的视觉效果， 如光源混乱和似人为效果 ( artifacts )。 因此， 一些人试图减少以细节换取过度增强的代价。Retinex 理论认为色彩的感知与反射具有很强的联系， 而且可见光到达观察 者的量依赖于反射率和照明的乘积。 大多数基于 Retinex 的算法是通过去除反射 率来增强照明的效果，因此，它们可以明显的增强细节。但是，

4、不可能确切地除 去照明场景的凹凸深度。一些中置 / 环绕算法采取照明的局部卷积来代替不考虑 反射率的上限。 实际上， 反射率应该考虑在内， 它表示表面不能反射多于比它接 收的光。 此外，简单地删除照明是不合理的。基于反锐化掩模的算法通常把图像分解为高频和低频两个方面， 并分别进行 处理。低频信息对于这些算法抑制过度增强是很有用的。 然而，这些算法只是简 单的一起整合处理高频和低频的信息， 这往往未能达到细节和自然特性之间较好 的折中。其结果是这些算法需要一个对每个图像以获得最佳结果而采取的重新调 整的过程。HE技术很简单，但被广泛用于图像增强。由于常规 HE算法可能导致过度增 强，许多已经提出

5、的算法被限制， 如照明保存和对比度的限制， 照明的保存在应 用中非常有用，但是，一些在不恰当的强度地区，对于非均匀照明图像，照明保 持不利于细节增强， 如暗区。对比度受限算法抑制过度增强是通过重新分配直方 图使其高度不超出限制。 但是，对于直方图有很大的不同的严重的非均匀照明图 象，这是不容易解决的。为了保护自然特性以及增强细节， Chen 等人提出了如 下的自然特性保护的概念用于图像增强。 图像增强后的周围环境不应该被大幅度 改变，如不应有光源应引入到现场，不应该有光晕补充的效果，不应该有阻挡效 果。由于没有确切的信息保真度的基本要求， 我们优化的概念为：图像的全局环 境不应被严重改变，光源

6、的方向不应该明显地改变。最近，一些基于 Ret inex 理论的自然增强算法提出了通过保留自然特性来增强细节。 但是，这些算法不适 用于非均匀照明的图像。因此，本文提出了一个在非均匀照明的图像中保留自然特性增强的算法。 总体上，我们将讨论三个主要问题，即，自然特性保护，强度的分解，以及照明效 果。首先，用自然特性的明度排序误差(LOE措施来评估增强图像。第二，我 们利用确保了反射率被限制在范围内的亮通滤波器( bright-pass filter )分解的图像。第三，用双对数变换处理照明，使照明不会由于空间变化淹没细节。 实验结果表明，该算法可以实现对光照不均匀图像的相应结果。本文的其余部分安

7、排如下：下一节介绍了对关于细节增强的观察和自然特性的保护。第三节给出 LOE度量的定义，提供增强算法的技术细节。 亮通滤波器和双对数变换，将在第四节进行描述。第五节我们展示最先进的算法在实验中的结果。 最后，第五节是本文的结论。二、观察在本节中，我们对细节增强以及自然特性的保护进行观察， 这两点最后可以 归纳为图像增强的两种约束。如图1所示，图像可以被分解成不同的特征空间。例如，基于小波变换的算 法，基于曲波的算法，等等，将图像视为不同频率的混合。基于 Retinex的算法 通常分解图像为照明和反射率。一般情况下，低频信息和照明代表全局的自然特性，高频信息和反射率表示局部的细节由于图像的分辨率

8、是有限的，故一种增强算法必须要适当平衡不同的信息。 总的来说，极端的低频信息可能淹没的细节，极端高频信息可能会造成视觉的不 自然。图2示出一组图片经广义反锐化掩膜（GUM和单尺度Retinex （SSR处 理。从图2 （b）中我们可以看到，在黑暗区域的细节仍然看不见。这是因为低 频信息太特别。与此相反，图的天空区域，图 2（c）看起来不自然。SSR简单地 移除照明而不考虑反射率的范围，因此，它导致光源的混乱和过度增强，如图 2（d）所示。(c) (d)Fig. 2, (a) Original image(b) Image processed by GUM withcontras l _ fac

9、t or 0.00)5 and lntixirtiumgain = 3. (c) Image processed by GUM with contraU_factnr = 0.005 and = 3. (d) Jmiigeprocessed by SSR直观地说，我们通过一维信号如图 3所示进一步说明照明的效果。图3（a） 中虚线表示原来的强度，图3（b）是图3（a）的照明和反射率共同作用的结果。 我们可以看出，原始的强度在某些局部区域稍有变化，这样难以观察它的细节。 一些算法采取反射率随着强度而增强的办法。虽然反射率具有明显的局部对比 度，但它不能代表原强度的全局趋势。相反，我们采取了照明的

10、压缩版考虑，获 得了增强的结果，如图3（d）所示。我们可以看到，图3（d）中的局部变化是 显而易见的，而它的全局趋势是仍是随原来的强度变化。Fig+ 3. ID signal illuslndioti (il Origin a! iiilcnsily. (b) Reflectance |li nd ilki- niinLilion decomposed from tat. ci Refleclancc nnd compressed ilkiinination of (bl, (d) Prcxluct of the reflectance ;md illuniination in (ch因此，为

11、了加强对自然特性的保护，该算法的目的是保持强度的全局趋势的 同时改善图像的局部变化。从物理学角度，我们提出了两个约束条件。 第一个是细节的约束，通过考虑反射率的特性将反射率限制在一个合理的范围。 第二个是自然特性的约束，不同的局部区域照明的相对顺序不应该被显著的改变。 因此本文的其余部分将集中于（a）提取反射率合适的范围，以及（b）在不改变相对 顺序对照明压缩。三、自然特性指标由于图像质量的评价关系到人类视觉系统，对图像增强主观的有效性没有统 一的措施，大多数算法是用来测量图像的重要特征 （如用对比度来评估细节的改善和熵是用来测量的灰度级分布）。根据上述的分析，相对照明的顺序对于自 然特性的保

12、护很重要的， 我们建议用LOE客观地评估自然特性的保护。由于照明的相对次序表示光源方向和所述亮度的变化， 故增强图像的自然特 性与亮度在不同的局部区域的相对顺序有关。因此，我们定义了基于原始图像 I 和它的增强版本Ie之间的明度排序误差的定量LOE措施。图像的亮度L（X，Y） 被赋于为三个颜色通道的最大值：L(x, v) = max /r(x, v)- (11wg 上 *对于每个像素(x, y)的原图像I和它的增强版本Ie的之间亮度的相对次 序定义如下：m nRD(x,y)= 工工(WWhMJ)1=1 j=l其中m和n是高度和宽度，U(X, Y)为单位阶跃函数，是异或运算符。 LOE度量被定义

13、为：4)/n nLOE V V RD(i,j).* n厶-厶- i=l j=DL和DLe的尺寸DMK DN 来取代r被设置为R= M* R X N * R。从LOE的定义，我们可以看出，较小LOE值能更好的将亮度顺序保存下来。 为了降低计算复杂度，我们采取下采样版本的L和Le的DLE该向下抽样的图象的大小和原始图像之间的比 50/min (MM。其结果是大小DM DN的下采样图像的尺寸是四、算法在本节中，我们提出了包括三个部分的技术细节的增强算法，如图 4所示。 首先，原始图像是通过亮通滤波器分解成反射率和照明。 其次，照明是通过使用 双对数转换处理。最后，增强后的图像是通过合成反射率和所映射

14、的照明获得的。A.亮通滤波器的定义虽然许多算法可用于照明的估计，但他们没有考虑反射率的范围，并且通常 会导致过度增强。(例如用SSF获得的反射率的50%已经超过1)。因此，我们提 出的亮通滤波器，能够将反射率限制到合适的区域。亮通滤波器的基本思想是： 对于一个相邻像素值为a的像素，其效果正相关影响中心像素频率值 b的像素。 一般情况下，邻近的像素可以灵活地针对不同的应用程序来定义。 由于频率的统计特性，其归一化可以作为相邻像素的亮通滤波器的权重， 我们假设使用略有不同的邻近像素过滤的结果之间无显著差异。 相应地，实验结果表明，该滤波结果 是采用四连通性和其他邻近的像素获得， 八连通性也是相似的

15、。为简单起见，我 们设置的像素G (X，Y)的邻近像素为四连通的五像素方形。NB(xty) = 1), G(x,y + 1)f G(x - ty),G(x 十 l,),GaTy)h 对于k值在(x, y)处的像素，N Nk，(x，y)表示值L邻近像素的数量 对值k和L的邻近周围的图像像素频率 Q ( K, L)表示如下：0()=工工啊心力 6)左=1 y=其中m和n是像素的高度和宽度，因为数字信号的频率 Q ( K, L)是容易 受噪声影响而且变化很大，我们利用其局部均值 Q (K，L)来代替：其中win是窗口大小。为了去除噪声，以及保留本地频率的趋势，窗口 win 不应该太小或太大。此外，一

16、些图像比其他的图像占据较窄的灰度范围， 因此 窗 口大小应设置与灰度级相关，窗口大小可以根据经验设定如下：= (max(G(x7 y) y)/32J. (8)亮通滤波器、带通滤波器，是相邻的具有正相关频率 Q( K，L)像素的重量加权平均，如下：BPFGx.y) = - J,(/,/)j),G(a.v) GO； ；) (9)其中，Q表示局部掩膜中心在坐标(x，y)，局部掩膜的大小设置为本文中 15X15，单位阶跃函数U(X, Y)确保只考虑比它更明亮的邻近像素，归一化因 子W(X，Y)可以确保像素权重的总和为1。W区 y)= 工(e(G(xf yX G(/； ；) - G(x, y).(10J

17、B使用亮通滤波器进行图像分解根据Retinex理论，反射光的亮度是反射率和照明的产物，如式(11)严(.y) = Rc(x.y)F(x.y) (11)其中| ：x,y)是颜色通道C的亮度，R：x,y)是相应的反射率，F (X，Y)是投射 在场景的表面上的照明。大多数的中置/环绕Retinex算法评估照明利用高斯滤波器或双边滤波器， 这通常会导致明照明比反射亮度暗。这种不合理意味着反射率大于1且表面反射 的光线比它收到还要多。基于假设的照明是局部每个像素的极大值 ，我们采用亮通滤波器的照明来评估。为简单起见，我们假设三个颜色的通道具有相同的照 明。不同于传统的滤波器，我们只需要考虑比中心像素更亮

18、的邻近像素。 与较暗 区域相比，很明显，靠近照明区域更明亮。我们以强度 L(X, Y),使用(1)式 作为照明的粗评价，可以透过亮通滤波器完善它：小(门间2j)f L(x, y)-上(i J)(然后，反射率R(X，Y)可通过除去上述照明获得：Rc(x, y) = fc(JC,y)/Lrx.y). 13图5示出通过亮通滤波器对图像进行分解的示例。 我们可以看到，反射率图 像更多呈现的细节、照明图像更多呈现入射光的周围环境， 它和我们之前的分析 一致。(町 (b) Fig. 5- Example for iniage decomposition, (a) Original imag- (b) Ul

19、umnation image(g】Retlectance imagesC使用双对数转换处理光照映射作为映射的照明图像将与反射率图像合成得到最终的增强图像， 它不应该抑制的细节，所以它是足够明亮的，同时照明顺序应予以保留。有效的直方图规格 能够保持照明顺序，我们通过直方图规定照明，而我们的任务重点是找到一个合 适的形状作为指定的直方图。根据我们的实验结果，方块的形状( the logshape)，由(14)式给出，适用于大多数的图像。Lig(x.v) = log(rCv,y) + ) (14)其中&是一个小的正的常数，根据经验设定为 1。然而，利用直方图规格处理图像的照明曾经出现过类似的， 事实

20、上，根据输入图像的不同强度，映射的照明也会略有不同。由于方块型直方图规定可以使映 射照明照明足够亮，根据输入照明的灰度级分布，我们可以通过稍许增加低灰度 级的像素代表差异。实验结果表明，它与直方图设定为照明方块很适合。 因此,我们利用加权直方图MP( n)代替。ZZo工;=0弧(jj粘QQ)血2=0 5 7)far x = yelse其中s是脉冲信号，修改后的直方图不仅考虑了大量的像素， 而且也考虑了 灰度级的值。根据累积密度函数的定义(CDF则加权直方图的CDF是：=工 inp(k)= A=o U(u,ZXoHQEJ) *(17)类似地，在指定的直方图，s (z)的CDF定义如下：Z / 2

21、55ef(Z)= 曲)工 W) (18)/=0 / i=0s(z) = log(z z g ?/0, 255 (19)其中z是在0，255中的一个非负整数，是一个小的正常数。根据直方图规格的定义，BLT的目的是使Z的值满足：cf(zv) = for y = 0, 1,2,. , L H (20)Zv的值由下式给出= cfcL(n)l for D =()J,2,.L - L (21)映射的照明可以通过BLT获得改变：匕y) = c/_1cL(Lf(x,y)7 for d = 0,1,2,丄一L(22)D反射率和映射照明的合成如上面所提到的，照明的急剧变化不利于细节的显示， 但照明是自然特性中 必

22、不可少的，为了增强细节和保持图像的自然特性，需考虑映射照明。我们通过合成R( x，y)和Lm(X，Y)获得最终的增强图像：EJc(x y) = Rc(x, y) x Lm(xyy (23)由于不同的局部区域映射照明的亮度与原来的照明相对顺序是一致的， 很容易验证反射率为1的像素的相对顺序不会改变。此外，根据在不同色彩空间的色 调的定义，如HSI及HSV像素的色调值依赖其三原色值(R、G B)的比例。由 于三原色值的比率在图像增强前后没有发生变化， 故所提出的算法能够保存图像 的色调值。五、实验与讨论我们利用150多个图像数据集来测试该算法，并且与SSR和MS磁两个传统 的算法以及四种最近提出的

23、算法 GUM NEC、BPDHE口 RACE进行比较。该数据集 包括：使用佳能数码相机拍摄的图像 46张，110张的图像是从一些组织/公司如 美国宇航局和谷歌的网站下载，该数据集的所有图像在局部区域具有低对比度， 但在全局空间存在严重的照明变化。我们很高兴能够在我们的新浪博客分享可执 行格式的数据集和编码。这些比较算法的主要参数设置如下：SSR高斯函数的空间范围是80。MSR 三个高斯函数的空间范围分别为 20，80,和200。GUM利用具有最大增益设置 自适应增益为5和对比度增强因子为0.005。NECI:纹理系数被设定为5。RACE 喷雾(spray )像素数为20，平均化的喷雾数目为40

24、0。对于参数的深入描述， 我们建议读者参考文献5, 6, 12, 15, 17, 19.由于空间的限制，本节介绍八张具有代表性的图像， 包括一个下雨图像，一 张清晰图像，二张多云图像，二张黄昏图象及二张夜间图像。 我们首先从主观方面测试算法，然后利用离散熵、能见度级描述以及提出的LOE措施进行客观的 评估，图6-13显示了所选择的图像处理的结果。Fig. 6 Rzlk for inu0 Ia OrigiBal inuie b) Enhanced image M SSR lei Enhanced im.fc of MSR. Ruhanuod irmifc of Gl M (cl Hnkunccd

25、 imjge oi NECI. (0 Enhanced invade of BPfMIE(&i Entunced on；咨 of RACE (h Enhamd mue of 4 pcopoaed alvoriiiiinFig 7 Rew lb It muje R/ih (m Onnil inufe Ibi I nlunccd image of SSR (ci I nhunccd imajc of MSR O Enhmeed imajjc of Gl M (c) EnKiixxxi image of NEG. (0 Rnhanced imae of RPDIIE. (g) Enhunevd RA

26、CR. Pnicincvd imae ol lhe pripiMd alftoriihnkFig 3 Rz* fnr invite Rail g) OrtgifMl image(b) Fnlunral inug of SSR (c Enhanced invc of MSR Id) Enhaiuvd imiigc of G Enhanced imo|；c of RCI EnhvKod imajr of RPfHIE Enhanced image cf the proprwed nljonihmFig 9. RcmiIK (or image a) OnpnaJ image. Enhanced im

27、age u( SSR. Ic) Lnhnccd image of MSR. 4d)Lolmcd image of Gl M.() EAtaoii taagi oiM I Enluaevd image & BPDIll iMMd taMgt of It Mil (h) BahMMd of iho picpoittdFig. 10. Resuks for taue 5 Enluocd iiiuge of SSR. (c) Eakuxd itiuge of MSR. linfuited in)a of NLG. (fi Enhanced unae of BPDfIL. Exihooccd iouc

28、of RACE. (h Lnhaoccd inugc of the proposed uknthm.Fig II ai Ongirul image, (b) Enhanced inuc SSR (c Hnharvvd iingc of MSR (d) Eftunccd 何up of GlM c) Enkvwvd inupp of NECI 0 Fnlwncrd imiijc of BPDHE Enhincxxi im.isc of RAG: ihi Enhanced imiijr a( the 卩呻3 algorithmFif. 1. ReMibi Itir iiffw厭 展沁航 41) Ov

29、hgifMl inHigr. (b l EihtuicijJ hei*(4 SSR k i Ivnhiiiucd mi hi寧 lH MSR. id) 1 jiLnhi d 泪皿典 ZGUM. l出 i 伽h-iwcd irwc- of NECI. fi ef DFIJtE 刘 EnkMKcd ef RACE. 1h Eomcd im*第 of dw propped 对g&ruhrru1ix. 15. Kgilb l RjiAjffjf AfVi.曲 OnitMil iiihne. ihI IZnhuknLcd! iiiiu貿 uf SSK. 齿血ur乩cd maufe ot ISR. idl

30、 Einlijjihtud inw纠川 CITM.(eh liR配叭涮 niftije- M ifi F.MuM nf RPOHf Mlg谊 亦哪；M ftATR W JRWi%剧 忡工事 f 仲中 3 引禹皿ivn，A、主观评估由于SSR和MSR简单地把反射率作为最终的结果，导致增强图像的光源方向 都不明确，如图6 （b） -13 （b）和图6（c）-13（C）所示。同时，一些恒定区， 如图8（b）和8（c）所示图中的天空区域，相当黑暗，此外我们可以看到， SSR在夜间图像中引入了明显的光环效应、 MSR抑制光晕的效果是以细节作为代价的，如图6 （”和（c）所示。 与SSR和 MSF相比，我

31、们的算法能够避免人为 效果（artifacts ）以及保护光源的方向。GUM同时考虑低频和高频信息，但它并不能良好的平衡这两种信息。我们可 以从图6（ d） -13（ d）看到。GUW显细节很明显，但由于过度增强大多数增强图像看起来不自然， BPDHE 是一个全局性的直方图均衡化算法，该算法能有效的保存输入图像的照明顺序。 然而，由于BPDH保留了输入图像的强度，它的缺点在于突出了低强度区的细节， 如图6（f） -13（f）所示。相比之下，我们的算法细节增强和自然特性保护上 具有较好的折中。NECI能够很好地保留自然特性，但它往往造成一些局部地区的细节损失， 如标注在图8（e）和图11（e）所示的矩形区域。RACES需要纠正色偏的场景 中很有用，如图6 （g） 12 （g）和13 （g）所示。RA