面向节能的图像颜色优化研究硕士研究生学位论文.docx

面向节能的图像颜色优化研究硕士研究生学位论文.docx

《面向节能的图像颜色优化研究硕士研究生学位论文.docx》由会员分享，可在线阅读，更多相关《面向节能的图像颜色优化研究硕士研究生学位论文.docx（62页珍藏版）》请在冰豆网上搜索。

面向节能的图像颜色优化研究硕士研究生学位论文

硕士学位论文

面向节能的图像颜色优化研究

摘要

在目前的桌面电脑和移动设备当中，显示器所占用的电能功率消耗比例分别达38%和50%，因此节能显示技术的研究，特别是在延长移动设备电池持续供电时间等方面有着十分迫切的需求。

从技术上讲，显示内容的节能显示主要可以从硬件和软件方面进行。

在对显示器节能和图像处理相关方法进行了综述的基础上，本文从软件处理角度出发，围绕图像的节能显示优化设计的问题展开了研究，并提出了一种基于节能的图像自适应亮度优化方法。

该方法首先用双边滤波对图像进行去噪，然后通过Sobel边界检测算子从图像中获取显著边界作为图像主要特征，随后构造特征重要性场，用于指导图像的特征增强，并实现自适应亮度优化。

该方法在应用于图像亮度降低时，可以在保持特征分辨能力的同时获得节能显示的效果。

继而，本文描述了一个实现上述图像处理方法的软件原型，并提供基本的图像处理操作，方便用户对方法的参数调节进行预览，并对处理结果进行分析比较。

最后，本文将上述方法应用于一般图像进行了实例测试，并做了简单的用户研究，结果表明该方法能够在相同节能效率下更好地保持图像中的感知特征。

关键词：

节能，颜色优化，视觉感知，边界检测

Abstract

Inthecommoditydesktopcomputersandmobiledevices,themonitorconsumesrelatively38%~50%electricalenergyofthetotalconsumption.Thus,designinganenergysavingschemeisveryessential,especiallyinextendingpowersupplyofthemobiledevicebattery.Technically,energysavingdisplaycanbeachievedbybothhardwareandsoftwaresolutions.

Inthisthesis,weconductastudyonimagebrightnessoptimizationproblemsforenergysavingdisplaybasedonthesurveyonenergy-savingschemesandimageedgedetection.Inparticular,weproposeanadaptivedimmingapproachfordisplayenergysaving.Inthisapproach,bilateralfilteringisperformedupontheoriginalimagefirstlytosmooththenoisewhilepreservingevidentfeatures.ThenweconstructasaliencymapbyextractingedgefeaturesfromtheimageusingSobeloperator.Thesaliencymapdescribestheregionofinterestwhichplaysanimportantroleinusers’understandingofanimage.Intheoptimizingprocess,weperformasaliencyguidedfeatureenhancementbyusingthesaliencymap.Withtheproposedapproach,wecangenerateadimmedimagewhichcanbedisplayedwithlessenergyconsumption.Additionally,wedescribeasoftwareprototypewhichimplementsourmethodandsomeelementalimageoperations.Userscanpreviewtheintermediateresultswhiletheyaretuningtherelevantparameters,aswellasanalysisandcomparingoftheresults.

Weapplyourapproachonseveralapplications,includingmapimagesandnatualimages.Apilotuserstudydemonstratethatourapproachachievebetterperformanceinpreservingperception-basedfeaturesinthedimmedimagesthanuniformdimmingunderthesameenergyconsumption.

Keywords：

Energysaving,Coloroptimization,Visualperception,Edgedetection

目录

摘要i

Abstractii

第1章绪论1

1.1课题背景1

1.2显示器节能显示相关方法3

1.3图像颜色与亮度优化5

1.4本章小结6

1.5内容安排7

第2章研究中需要的工具综述8

2.1图像亮度优化8

2.2图像边界检测10

2.2.1边界检测的基本步骤11

2.2.2边界检测算法11

2.2.3边界检测算法比较13

第3章基于节能的图像颜色优化算法研究16

3.1方法研究目标16

3.2方法技术细节16

3.2.1基于双边滤波的图像降噪处理17

3.2.2特征检测及特征重要性场构造19

3.2.3基于特征重要性场的图像优化23

3.3图像处理原型软件26

3.3.1需求分析26

3.3.2主界面和交互设计26

3.3.3基本处理功能的实现28

3.3.4图像自适应亮度优化的实现31

3.4本章小结32

第4章实验结果与分析34

4.1实验结果34

4.2性能统计40

4.3用户研究40

4.3.1实验设计41

4.3.2实验过程41

4.3.3实验结果41

4.3.4讨论分析42

4.4本章小结43

第5章总结与展望44

5.1本文工作总结44

5.2未来工作展望44

参考文献46

致谢49

图目录

图11OLED显示屏2

图12OLED显示器对于红、绿、蓝纯色的功率消耗曲线4

图21图像亮度调节实例10

图22不同边缘检测算子的离散形式（图像卷积算子）13

图23不同边缘检测算子结果对比14

图31图像自适应亮度优化算法的流程图（字母表示本章中所用符号）17

图32双边滤波效果19

图33本小节使用的示例输入图像20

图34PBA算法得到示例图像的边界图像的距离场，像素亮度表示距离边界像素的欧式距离21

图35示例图像的特征场示意图，及文中各参数的含义22

图36示例图像的特征重要性场22

图37一个实际图像的特征场构建过程23

图38对示例图像进行自适应亮度优化的结果示意图，注意到图像中元素边界部分的对比度相比于原图像的变化25

图39对图37中实例图像进行自适应亮度优化的结果示意图25

图310原型软件的功能模块图26

图311图像处理原型软件的主界面27

图312图像处理原型软件的“自适应亮度优化”选项卡中的参数与命令28

图313图像通道选择界面29

图314图形亮度和对比度调节界面31

图315图像自适应亮度优化操作界面32

图41方法应用到普通图像的结果对比35

图42方法应用到地图图像的结果对比36

图43在游戏场景中使用深度图进行自适应亮度优化的结果对比38

图44不同参数配置对结果的影响39

图45可视搜索任务的平均完成时间和标准差42

图51三菱OLED大屏显示系统45

表目录

表格1处理不同分辨率图像时的性能统计（时间单位：

毫秒）40

第1章绪论

1.1课题背景

液晶显示器，或称LCD（LiquidCrystalDisplay），是一种平面超薄的显示设备，它由一定数量的彩色或黑白像素组成，放置于光源或者反射面前方。

液晶显示屏是用于数字型钟表和许多便携式计算机的一种显示器类型。

它的主要原理是以电流刺激液晶分子产生点、线、面配合背部灯管构成画面。

LCD显示使用了两片极化材料，在它们之间是液体水晶溶液。

电流通过该液体时会使水晶重新排列，造成光线透过率的变化。

液晶显示器（LCD）作为科技含量高的技术，正朝着轻、薄、短、小的目标发展。

在便于携带与运输的前提下，传统的显示方式如CRT显像管显示器及LED显示板等，皆受制于体积过大或耗电量过大等因素，无法适应使用者的实际需求的提高。

而液晶显示技术的发展正好切合目前信息产品的潮流，无论是直角显示、低耗电量、体积小、还是零辐射等液晶显示屏优点，都能让使用者享受最佳的视觉环境。

在目前的桌面电脑和移动设备当中，显示器所占用的电能功率消耗比例分别达38%和50%[1,2]，因此节能显示技术的研究，特别是在延长移动设备电池持续供电时间等方面有着十分迫切的需求。

TFT-LCD或LCD显示器是目前最流行的显示器，其主要技术是薄膜场效应晶体管，在给定一个白色背光光源的基础上，通过改变每个像素中颜色单元的透光率获得不同颜色的显示。

当透光率为0时，屏幕会显示为黑色，然而由于工艺的问题，这类显示器产品通常会存在漏光的现象。

TFT-LCD显示器的主要电能消耗用于维持背光光源的亮度，因此整体的功率消耗也主要由背光的亮度及其制造工艺决定。

一般来说，通过合理地降低背光光源的亮度可以实现LCD显示器的节能显示。

最近几年，一种新的基于有机发光二极管（organiclighting-emittingdiode,OLED）的显示器（以下简称OLED显示器，见图1.1）则通过像素中的颜色单元自发光的形式显示颜色，因此就避免了使用背光光源[3]。

当屏幕面板不显示任何内容时，像素不会被通电，因而不消耗电能。

OLED显示器采用非常薄的有机材料涂层和玻璃基板，当电流通过时，有机材料就会发光。

由于OLED显示器具的像素是自发光的，因此OLED显示器具有很多特点，其显示屏幕的可视角度几乎可以达到极限，屏幕黑色显示非常纯正，因此OLED显示器具备了许多传统LCD显示器不可比拟的优势。

OLED显示器通过调节每个像素中红、绿、蓝三种单色发光单元的亮度以显示不同的颜色，因此其功率的消耗实际上和每个像素的颜色相关，相当于不同的显示内容会产生不同的功率消耗。

在图像处理与应用程序的颜色设计中，可以通过调节优化图像颜色成分或选取更节能的颜色模式的方式实现节能的显示。

另外，OLED显示屏幕可以做得非常轻薄，甚至可以弯曲。

图11OLED显示屏

OLED显示屏的节能概念悄然掀起，成为它最为吸引消费者眼球的亮点，也是近年来火爆增长的原因。

目前市场对显示屏节能技术需求较大，OLED显示屏的进一步节能成为了行业追逐的支撑点。

通过降低图像亮度或者调节优化图像颜色成分的手段都可以降低显示器的功率消耗。

本文根据显示器的特性，实现了一种面向节能的图像亮度优化方法，通过对图像内容的特征增强方法补偿亮度降低后信息传递和图像质量的损失，从而实现一般图像特别是地理信息图像的节能显示。

为了便于用户对方法中的参数调节产生的效果进行直观的预览和比较，本文也描述了一个实现上述图像处理方法的原型软件，并提供基本的图像处理操作，方便用户对方法的参数调节进行预览，并对处理结果进行比较。

1.2显示器节能显示相关方法

在目前的桌面电脑和移动设备当中，显示器所占用的功率消耗比例分别高达38%和50%[1,2]。

因此节能显示技术的研究，特别是在延长移动设备电池持续供电时间等方面有着十分迫切的需求。

如果一台电脑拥有省电功能，每小时待机耗电约35W，约比一个一般亮度的灯泡稍高，尽管这一浪费对个人影响不大，但若全球所有的电脑长时间待机，每小时浪费的电量就非常惊人[40]。

考虑到显示器占用了整个系统较高的耗电比例，因此显示器的节能问题十分重要。

举个例子，著名的搜索引擎的主页面一般都非常简单，比如Google的页面是纯白色背景上的一个搜索框和少量链接。

在一个OLED显示器上长时间显示时，其几乎需要最大的功率消耗，一个暗色或黑色背景的页面则可以有效地节约电能消耗。

网站则仅提供了一个黑色背景的页面，通过链接的方式返回Google搜索结果，其主页宣称节约电能已达3800千瓦时。

虽然数据的真实性可能是基于访问其页面的用户都使用了OLED显示器进行计算得到的，但也正说明了基于OLED显示器进行节能设计的重要性。

目前，显示器的主要技术是基于薄膜场效应晶体管的液晶显示器（ThinFilmTransistorLiquidCrystalDisplay,TFT-LCD），通过改变每个像素中颜色单元的透光率获得不同颜色的显示，因此其一般需要一个背光光源。

TFT-LCD显示器在当前和过去的十几年中一直比较流行，大部分使用了冷阴极荧光灯作为背光光源为显示器提供背光照明。

对于这类LCD显示器，由于背光光源的电能消耗在整个显示器系统中占绝对的优势，因此也就决定了其功率消耗相对恒定，主要与背光光源的电流呈正比的关系。

随着技术进步，背光光源可以通过发光二极管产生。

由于发光二极管提供了更加均匀的白色光源，亮度输出效率也比较高，因此使显示器获得更好的对比度和更均匀的亮度，在获得相同显示效果的前提下降低了显示器的功率。

针对TFT-LCD的一般节能措施通常是通过材料、制造等技术的提高增加像素的透光率，从而可以降低显示器的背光光源而降低显示功率[4,5]。

Harter等人则提出将屏幕区域进行分块，每个分块区域内使用一个背光光源，显示器内建一个分区功率管理模块，通过对显示内容的分析实现分区域的背光功率调节，从而实现LCD显示器的节能显示[6]，不过这种方法需要对显示的图像内容进行颜色成分的分析，市场上具有这一技术的显示器比较少。

最近，一种基于有机发光二极管（Organiclighting-emittingdiode，OLED）的显示器通过像素中的颜色单元自发光的形式显示颜色，因此避免了使用背光光源[3]。

OLED显示器的功率消耗模型与其显示内容的颜色成分相关，可以通过对图像颜色与亮度的优化设计，达到显示内容的节能显示。

OLED显示器的每个像素均包含了R（Red）、G（Green）、B（Blue）色彩模型中三个原色的发光单元，通过不同的亮度调节形成不同的颜色变化。

Dong等人在文献[8]中给出了OLED显示器的一般功率消耗模型如下：

其中，函数f（x），g（x）和h（x）分别表示单个像素中，红、绿、蓝发光单元在亮度为x时候的功率值，E0表示显示器的基础功率，而L则表示显示内容图像的像素总量。

也就是说，除了一个基础功率E0，OLED显示器的功率是所有像素独立功率的和。

一个经过实际测量的、典型的OLED显示器的功率消耗曲线图如图1.2所示，其中不同的色调（红色、绿色、蓝色）的功率消耗不同[8]。

图12OLED显示器对于红、绿、蓝纯色的功率消耗曲线

OLED显示器的这个特性，使得针对其的节能显示方案的研究更加具有挑战和灵活性，因此Iyer等人直接通过降低用户交互界面中非活动窗口的亮度的方式，实现针对OLED显示器的节能显示[9]。

因为在一般的用户与系统进行界面交互的行为中，通常只对当前的活动窗口保持较高的注意力，而对其他非活动窗口几乎不关心，因此降低非活动窗口的亮度不会影响到用户交互行为。

在硬件实现层次上，Shin等人受到传统背光功率管理模型的技术的启发，将其应用到了OLED显示器中，并提出了动态电压调整（dynamicvoltagescaling，DVS）的新技术，该技术允许在几乎不产生人眼感知差别的前提下，获得高达52.5%的功率节约[10]。

由于OLED显示器的显示功率和颜色直接相关，因此Dong等人提出了一种基于贪婪算法的颜色映射的颜色设计方法，使得OLED显示器在显示用户交互界面的时候能获得电能消耗的最优化，并通过约束条件保证了用户交互效率，他们通过实验证明颜色映射方法在用户交互界面的应用中可以获得最高75%的功率节约[8]。

另一方面，也有一些研究则根据用户的交互行为，采用了一些自适应的亮度调整方案。

比如，Dalton等人提出了一种利用底层的人脸跟踪的方法，当用户离开显示器时自动降低其亮度或直接关闭显示器[7]。

Moshnyaga等人则使用视频摄像头实现了类似的方法[1]。

此外，线性地降低显示器亮度仍然被认为是一种节能显示的重要策略，然而这样可能会造成图像显示质量的下降，使得用户不容易分辨图像的重要内容，因此也需要从图像基础上解决这一问题。

在这一领域一些学者提出了不少方法，比如通过增强自然图像的对比度的方法使得显示器亮度降低时图像质量的损失更少[11]。

1.3图像颜色与亮度优化

图像处理，是对图像进行分析、加工和处理，使其满足视觉、心理以及其他要求的技术[20,21,22]。

图像处理是信号处理在图像域上的一个应用。

目前大多数的图像是以数字形式存储，因而图像处理很多情况下指数字图像处理。

此外，基于光学理论的处理方法依然占有重要的地位。

图像处理是信号处理的子类，图像处理一般指数字图像处理[23,24]。

数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。

常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。

传统的一维信号处理的方法和概念很多仍然可以直接应用在图像处理上，比如降噪、量化等。

然而，图像属于二维信号，和一维信号相比，它有自己特殊的一面，处理的方式和角度也有所不同。

图像处理技术的主要内容包括图像压缩，增强和复原，匹配、描述和识别3个部分。

常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。

图像处理一般指数字图像处理。

近年来，随着科技的发展和人们生活水平的提高，数码产品尤其是数码相机得到了广泛应用。

由于各种各样的原因，人们经常会拍摄到一些曝光不足、效果不好的照片，因此需要有一种方法，可以提高照片的质量以满足人们的需求。

早期的一些亮度调整的算法过于简单，自动调整的效果并不是很理想，稍后也出现了一些较为复杂的算法，但其计算的复杂度相对较高，且需要一定的用户交互，使用不够方便。

图像亮度调整算法经历了一个从简单到复杂、从整体到局部的过程。

研究自动快速的图像增强算法，特别是自适应的亮度调整算法有非常重要的理论和现实意义。

早期的亮度调整算法如直方图定制[14]、增益2偏差调整（Gain2offset）[15]等算子处理局部，这些算法大都使用一个类似于γ函数的全局色调映射函数非线性地拉伸图像亮度，使得图像整体对比度得到增强，从生理学角度讲，人类的感知能力与外界的刺激对数成比例，因此这些调整算法都是在亮度的对数域上进行操作。

但该类算法一般需要相对复杂的参数设置[16]或用户交互[17]，使用不够方便；另外由于图像不同区域之间存在一定的制约关系，采用全局映射函数往往需要牺牲高亮区域的对比度来增强欠曝区域的对比度，从而导致曝光充分区域的对比度有所降低，以致丢失原图中所具有的亮度层次感，这是全局映射算子的共有缺点。

鉴于全局算子的上述缺点，近几年一些学者提出了基于梯度域的亮度调整算法。

Fattal等人[19]在处理高动态范围图像时基于交互指定区域的亮度理想值构造调整后图像的梯度约束[18]，使得结果图像的梯度与给定约束尽可能一致，从而求得图像亮度.Perez等人[26]借助梯度域的处理方法，可以无缝地将一幅图像中的区域组合到另一幅图像中。

1.4本章小结

综上所述，目前在图像的节能显示处理方面，存在一些尚未解决的颜色设计与亮度优化问题。

本文主要面向OLED显示器，对图像的基于节能的自适应亮度优化进行了相关研究，提出并实现图像的自适应亮度优化算法。

基于节能的自适应亮度优化以图像作为输入，实时生成亮度优化的图像结果，该方法对一般图像在OLED显示器显示具有节能效果，此外该方法对于普通图像或地图在取得节能显示效果的同时，具有一定的感知特征增强效果。

本文主要采用客观实验和用户测试的方法实现面向节能的图像颜色和亮度优化方法。

本文所使用的实验数据包括一般图像和具有重要信息的二维地图图像。

为了方便用户使用本文提出的算法进行图像处理，并对图像处理结果进行比较与保存操作，本文设计并实现了一个通用的图像处理原型软件，提供图像处理的基本操作，并集成本文提出的图像自适应亮度优化算法。

该软件接受一般图像文件的读取，允许用户对图像进行基本的操作（如亮度/对比度的调整、图像结果保存等），并方便用户对图像处理过程中参数调节等操作进行实时的预览。

1.5内容安排

本文的主要内容安排如下：

第2章综述了本文研究中用到的图像处理相关的工具；第3章详细描述了基于节能的图像亮度自适应优化方法，并描述了一个配合方法使用验证的图像处理软件原型的交互界面和技术实现；第4章介绍了本文的方法在一般图像上进行的实验并展示了实验结果和用户研究。

最后，本文第5章进行了总结与展望。

第2章研究中需要的工具综述

本章对论文研究所需要的理论工具作一个综述，包括图像亮度优化、图像边界检测等核心图像处理算法[35]。

2.1图像亮度优化

图像的亮度调整，如欠曝光图像调整和高清晰图像（HDR）的处理有很大的相似之处，如果我们将HDR图像线性变化为普通低动态范围图像，得到的结果跟欠曝光的图像非常相似[36]。

Tumblin[27]等最早提出了色调映射的问题，即如何在动态范围比较小的设备上显示高动态范围的图像。

他们根据人眼对亮度和对比度的敏感程度，提出了一个全局映射函数。

接着Larson等[16]根据直方图，提出了一种改进的直方图定制方法，可以更充分地利用亮度的动态范围。

同时避免普通直方图定制中产生的平坦区域被拉伸的问题[38]。

Dargo等人[19]在03年欧洲图形学年会上提出了自适应的log映射方法，作为全局映射算子，可以方便有效地进行色调映射。

Reinhard等人[18]根据摄影中的“dodgeandburning”技术在02年Siggraph上提出了一种类似的色调映射方法。

最近几年，梯度域上的处理方法变得非常流行。

该方法并不是直接对像素的亮度值进行操作，而是间接地在梯度域上进行控制和约束。

在给出梯度域上的约束后，反求图像，使得图像的梯度与给定的梯度约束尽可能一致[37]。

该方法最早由Fattal等人[19]在高动态范围的图像处理中提出，先对图像的梯度进行多尺度变换，然后反求出亮度映射后的图像。

Preze等人[26]借助梯度域的处理方法，可以无缝地将一个图像中的区域粘贴到另一个图像中去。

Adobe公司的HealingBrush也用到了类似的技术。

Agarwala等人[25]先后将梯度域处理应用到了图像和