基于Criminisi算法的图像修复顺序的研究.docx

基于Criminisi算法的图像修复顺序的研究.docx

《基于Criminisi算法的图像修复顺序的研究.docx》由会员分享，可在线阅读，更多相关《基于Criminisi算法的图像修复顺序的研究.docx（9页珍藏版）》请在冰豆网上搜索。

基于Criminisi算法的图像修复顺序的研究

第3期2016年2月No.3February,2016

无线互联科技

WirelessInternetTechnology数字图像修复技术对信息和网络安全有着非常重要的意义:

随着互联网的高速发展,信息在网络中的传输尤其是图像信息和视频信息在网络中的传输越来越频繁,然而在有限带宽的情况下,压缩的图像信息和视频信息受到信道干扰等影响,经常会出现丢包、数据块损失等现象,然而常规的重传机制很难满足实时性要求,图像和视频的修复技术就可以在接收端对传输过程中发生的错误进行处理。

出于政治和军事目的,有时会在图像信息的安全显示和图像信息的网络安全传输时把图像中的某个对象或者文字进行移除,这正是图像修复技术所擅长的。

另外,图像修复技术在保护文物、制作影视特效、修补陈旧照片、抠出图像中的文字和物体等领域也都有着十分重要的理论价值和应用意义。

数字图像修复技术是利用图像中的已知信息对图像中的受损区域进行信息的填充或是移除图像中的多余物体,从而使观察者觉察不出图像曾经破损或是感觉不到有多余物体存在的一种技术。

图像修复的目的并非是要“恢复”图像的原来信息,而是最大限度地使得修复后的图像看不出破损的痕迹。

数字图像修复的算法主要分为2类:

基于偏微分方程的数字图像修复和基于纹理合成的数字图像修复。

前者主要用于修复图像中的小尺度破损问题,后者主要用于图像中的较大面积破损区域的修复。

而基于纹理合成的图像修复算法主要分为2类:

基于图像分解的修复算法和基于样本块的图像修复算法,前者的修复过程是基于分解的思想,首先将待修复图像的纹理和结构分离,然后以单个像素点为对象分别对纹理和结构进行修复,最后再把修复结果进行合并;后者的修复原理是首先人为地确定待修复区域的边缘,以边缘上优先权最高的像素点为中心构成的9×9的像素块为对象,在完好区域进行匹配,然后用匹配得到的误差最小的像素块填充模板块的待修复部分,最后更新已修复像素点的优先权并开始下一次迭代修复。

基于样本块的图像修复算法最初是由

Criminisi[1]

等人于2003年提出的,是迄今为止最为经典的基于纹理合成的图像修复算法。

由于该算法优先权中的置信度会随着图像的不断修复迅速变为零,并且数据项也有为零

的可能,这些都会导致优先权的计算出现错误,从而导致修

复顺序出现错误,引起修复误差的累积,最终影响修复的效果。

后来国内外的很多学者都在该算法上进行不同程度的改进。

李爱菊[2]、吴亚东[3]通过直接增大数据项在优先权公式计算中的权重,使得纹理较为丰富的区域优先修复,在一定程度上增强了修复后的视觉效果;韩明珠[4]则通过减小置信度对优先权的影响,间接增大数据项对优先权的作用;刘业妃[5]

引入了自然指数,平缓了置信度的急剧变化;李尊[6-7]则通过引入正规化函数,通过减小噪声的影响,以达到较好的修复效果。

1Criminisi算法1.1算法基本原理

Criminisi算法通过在待修复区域边缘上选取优先权最高的像素点p,然后以p为中心构造一个n×n大小的像素块,然后在完好区域寻找与该模板块最相似的样本块,并用找到的样本块更新模板块中的待修复信息,最后更新已修复块块中像素点的置信度,并开始下一次迭代修复,直至修复完成。

图1是Criminisi算法的修复原理,其中是完好区域,是待修复区域,是待修复区域的边界,是以像素点p为中心构造的像素块,是边缘上像素点p的法线方向,

是边缘上点p的等照度方向。

图1Criminisi算法修复原理

基金项目:

中国地质调查局地质调查基金项目;项目名称:

适用于矿产和能源探测应用的遥感传感器优化设计技术;项目编号:

科[2012]01-049-004。

作者简介:

亓卓亚（1984-,男,河南开封,硕士研究生;研究方向:

数字图像处理。

基于Criminisi算法的图像修复顺序的研究

亓卓亚,苏红旗

（中国矿业大学（北京机电与信息工程学院,北京100083

摘要:

Criminisi算法是用于修复大尺度破损图像的经典算法。

由于该算法中像素块的置信度会随着修复的进行迅速降为

零,并且也存在数据项为零的可能,而置信度项和数据项中任一项为零都会导致错误的修复顺序,造成错误信息的累积,最终影响图像的修复效果。

因此,文章改进了优先权的计算公式,并用实验验证了改进后优先权计算公式的优越性,从而在一定程度上提高了图像修复后的视觉效果。

关键词:

数字图像修复;Criminisi;优先权;置信度;数据项

第3期2016年2月

No.3February,2016

1.2算法的运行步骤

Criminisi算法的运行步骤如图2所示。

图2Criminisi算法修复步骤

1.3算法中的优先权

Criminisi算法中计算优先权的公式如（1所示:

（1在公式（1中,C（p为置信度项,表示的含义是样本块中包含的已知像素点的多少。

C（p越大,说明中包含的已知信息所占有的比例越大,即置信度越大,应优先修复。

D（p是数据项,表示结构信息量。

D（p越大,说明表面线性结构越复杂,应优先修复。

其中,C（p和D（p的计算公式如（2（3所示:

（2

（3

其中,||表示样本块的面积或者说是样本块中

像素点数,初始时C（p的计算公式如公式（4所示。

是

修复边缘上p点的法向量;为点p的等照度线方向,表示p点梯度方向的垂直方向。

对于灰度图像,归一化因子=225。

（42优先权的改进

2.1Criminisi算法存在的问题

问题1:

在Criminisi算法中,优先权的计算公式是像素块的置信度和像素点的数据项的乘积的形式。

然而在修复的过程中,置信度值C（p会随着迭代的进行迅速下降为零,导致P（p为零,从而即使线性结构复制的区域也不能被优先修复;当等照度的方向和像素点p的法线方向垂直时,会出现D（p为零的情况,并且就某块单一颜色的区域而言D（p的值总是零,导致P（p为零,从而置信度很高的区域不能被优先修复。

这些都会使优先权的计算变得不可靠,进而导致错

误的修复顺序,最终影响修复的效果。

问题2:

在Criminisi算法中,使用的是固定大小的9×9的像素块。

然而无法预料到图像待修复区域中纹理和结构的情况,针对待修复区域是纹理比较单一的,使用的像素块的大小有可能使用大于9×9的像素块,使用9×9的像素块有可能就会造成过长的修复时间,增加算法的时间复杂度;而对于结构性比较复杂的待修复区域,使用9×9的像素块可能显得过大,而像素块太大会导致检索到的不是最佳匹配块,从而导致错误信息的累积,最终影响修复效果。

问题3:

Criminisi算法采用的是基于像素差值的平方和SSD（SumofSquaredDifference的全局搜索,对于较大的待修复图像,使用全局搜索就会导致搜索匹配占用更多的时间,增加算法的时间复杂度。

2.2算法的改进方向

基于Criminisi算法,现有的很多改进算法主要从3个方面进行某种程度的改进:

第1个方面是待修复边缘上像素点优先权的确定,因为优先权的计算直接影响到修复顺序的确定,而不好的修复顺序将导致修复错误的累积,最终影响修复效果;第2个方面是像素块的大小的选择,针对结构复杂性差异较大的像素块,应该考虑使用不同大小的像素块进行修

复,孟春芝等[8-11]在此方面进行了研究;

第3个方面是搜索时所用的匹配算法和搜索范围的改进,戚曹等[12-16]在此方面进行了相关的探索研究。

2.3本文的改进思路

本文主要研究待修复像素块优先权的确定。

由于在修复的过程中,置信度值C（p会随着迭代的进行迅速下降为零,导致P（p为零,从而即使线性结构复制的区域也不能被优先修复;当等照度的方向和像素点p的法线方向垂直时,会出现D（p为零的情况,并且就某块单一颜色的区域而言D（p的值总是零,导致P（p为零,从而置信度很高的区域不能被优先修复。

这些都会引起优先权的计算变得不可靠,进而导致错误的修复顺序,最终影响修复的效果。

本文提出的优先权的改进公式为:

（5

其中,

（6

其中,C（pD（p与公式（1中的相同;由于随着修复的不断迭代,置信度会骤降,使用指数形式使置信度的变化更加平缓;由于图像在一个像素点梯度值较大时,该点附近图像的纹理较为丰富,通过优先修复纹理较为丰富的像素点,使得图像的边缘结构更加平滑,故结构性较为复杂的边界点应该优先修复;是非负常数,分别决定着优先权中占已知区域的比例、结构信息量的权重,。

当图像平

滑,纹理简单时,使增大,减小;

当图像纹理结构比较复杂,边缘信息比较突出时,使增大,减小。

对于（6式,引入正规化函数,平滑数据项D（p,从而增强图像边缘修复的鲁棒性,其中,取0.7。

同时将P（p的表达式由乘改为相加,避免了由于C（p和D（p突然减小为零所引起的优先权的不可靠所导致的错误修复顺序。

无线互联科技·实验研究

第3期2016年2月

No.3February,2016

3实验结果分析比较

本文在IntelCore（TM2DuoCPUT6400,RAM4GB,Windows7的测试机上,采用Matlab7.10编程测试改进后算法的修复效果,并和标准的Criminisi算法进行对比,测试图像分别为:

bungee1.png,seaside.png。

实验结果如图3-4所示。

图中（a表示待修复图像,（b表示Criminisi修复后的图像,（c表示文献[5]的修复结果,（d表示文献[6]的修复结果,（e

表示本文算法修复后的图像。

图3bungeer1图像修复结果

由图3可以看出,仿真实验是为了移除背景中跳水的人和

跳板,得到所需的前景图像。

经过对比可以看出:

（b图中Criminisi算法的修复结果效果不够好,水泥墙壁的裂缝太大;（c图是文献[5]的修复结果,边缘平滑性不够好;（d图

是文献[6]

的修复结果,由于置信度的骤减引起的修复顺序不

当,导致水泥墙的修复后中间出现裂缝;（e图是优先权改

进后的修复结果,可以看出不会出现置信度骤减的情况,线性结构的平滑性较好,

基本满足人眼的视觉效果。

图4seaside图像修复结果

图4是seaside图像的修复结果,其中,图（a是待修复

图像;图（b是算法Criminisi的图像修复结果,修复结果中有黑色小点存在;图（c是文献[5]的修复结果,可以明显看出图像修复结果不够好;图（d是文献[6]的修复结果,图（e是优先权改进后图像的修复结果,可以看出,即使对于结构性比较单一的待修复区域,图（e也能具有相对较好的修复效果。

4结语

针对Criminisi算法中优先权计算公式中存在的缺陷,提出了新的优先权计算公式,并通过仿真实验和现有典型的改进算法的修复结果进行对比。

仿真实验表明,改进的优先权计算公式具有较好的修复结果,在一定程度上提高了人眼的视觉效果。

[参考文献]

[1]CRIMINISIA,PEREZP,TOYAMAK.RegionFillingandObjectRemovalbyExemplar-BasedImageInpainting[J].IEEETrans.ImageProcess,2004（9:

1200-1212.[2]李爱菊,钮文良.基于改进Criminisi算法的图像修复[J].计算机工程与应用,2014（18:

167-170.[3]吴亚东,张红英,吴斌.数字图像修复技术[M].北京:

科学出版社,2010.[4]韩明珠,郭树旭,臧玲玲,等.基于样本块的图像修复改进算法[J].计算机工程与应用,2015（16:

192-194.[5]刘业妃,王福龙,奚祥艳,等.改进的Criminisi图像修复算法[J].小型微型计算机系统,2014（12:

2754-2758.[6]李尊,吴谨,刘劲.基于边缘结构的Criminisi图像修复[J].液晶与显示,2014（5:

756-760.[7]李尊,吴谨,刘劲,等.FA-Criminisi快速图像修复[J].液晶与显示,201（2:

353-358.[8]孟春芝,何凯,焦青兰.自适应样本块大小的图像修复方法[J].中国图象图形学报,2012（3:

337-341.

无线互联科技·实验研究

第3期2016年2月

No.3February,2016

IntelligentTechnologyofElectricalEngineeringandAutomation

ZhangLei

（HohhotPowerSupplySection,BaotouRailwayBureau,Baotou014000,China

Abstract:

Withthedevelopmentofmodernsociety,scienceandtechnology,intelligenttechnologyusedmoreandmorewidely,mainlyisbecauseintelligenttechnologycaneffectivelyimprovetheworkingenvironment,reducetheworkingintensityofworkersandimprovetheworkefficiencyoftheindustrial.Therefore,intelligentinsomeimportantconstructionusingwidely.Intelligenttechnology,becauseofitsautomationandintelligentperformance,canreducethemaintenancecostofequipment,improvetheleveloffaultdiagnosis.Theconstructionofelectricalengineeringplaysadecisiveroleinthequalityofpowersystemoperationinacertainextent.Thearticlebrieflyanalyzesanddiscussesthepracticalapplicationofintelligenttechnologyinelectricalengineeringautomation.Keywords:

electricalengineering;automation;intelligenttechnology

[参考文献]

[1]闫书畅.基于电气工程自动化的智能化技术应用探讨[J].科技创新导报,2013（27:

96.

[2]莫家宁.智能化技术在电气工程自动化控制中的应用探讨[J].机电信息,2013（6:

102-103.[3]谷颂.智能化技术在电气工程自动化中的应用价值研究[J].硅谷,2014（14:

75,81.[4]梁小全.智能化技术在企业电气工程自动化中的发展与应用[J].中国高新技术企业（中旬刊,2014（6:

39-40,20.[5]李鸣.刍议电气工程自动化中智能化技术的应用[J].科技展望,2015（28:

93.[6]万志成.探究电气工程自动化中智能化技术的运用[J].通讯世界,2014（20:

144-145.[7]魏亚东.智能化技术在电气工程自动化控制中的应用研究[J].电子制作,2014（9:

128-129.[8]刘璐.基于电气工程自动化的智能化技术应用分析[J].科技资讯,2013（21:

119.[9]李晓东.基于智能化技术在电气工程自动化的运用[J].科技展望,2014（14:

26-26.

无线互联科技·技术应用

ResearchonImageInpaintingOrderBasedonCriminisiAlgorithm

QiZhuoya,SuHongqi

（SchoolofMechanicalElectronic&InformationEngineering,

ChinaUniversityofMiningandTechnoligy,Beijing,Beijing100083,China

Abstract:

TheCriminisialgorithmisusedtorepairthelargescaledamageimage,itisaclassicalgorithm.However,theconfidencetermofthealgorithmwillbereducedtozerowithbeingrepaired,andthedataitemmaybezero.Theconfidencelevelanddataitemsinanyoneofzerowillresultinanerrorofrepairorder,causingcumulativeerrormessages,andultimatelyaffectingtherepaireffectoftheimage.Therefore,thispaperimprovestheformulaofpriority,andexperimentallyverifythesuperiorityofthenewprioritiesoftheformula,toacertainextent,improvetheimagerestorationofvisualeffects.

Keywords:

digitalimageinpainting;Criminisi;priority;confidenceterm;items

[9]饶屾,杨志平.基于纹理尺寸自适应的Criminisi图像修复改进算法[J].浙江交通职业技术学院学报,2013（4:

28-33.[10]张伟伟,何凯,孟春芝.自适应选取样本块大小的纹理合成方法[J].计算机工程与应用,2012（17:

170-173.[11]李汪兵,叶学义,齐珍珍,等.小波域的快速自适应图像修复算法[J].计算机工程与应用,2015（15:

183-187.[12]李俊柏,黄文清,黄牧,等.改进的Criminisi图像修复算法[J].工业控制计算机,2014（7:

127-128.[13]许凯,王智,阎石,等.基于结构相似度的图像修补算法[J].计算机时代,2015（10:

7-9.[14]王新年,王哲,王演.基于几何距离的Criminisi图像修复算法[J].计算机工程与设计,2015（7:

1935-1839.[15]戚曹,朱桂斌,阳溢,等.基于局部自相似性的视频图像超分辨率算法[J].重庆邮电大学学报:

自然科学版,2015（5:

692-699.[16]聂慧,邹艳丽,金晶.基于快速搜索最近匹配块的图像修复算法[J].计算机应用研究,2014（7:

2233-2237.

（上接第122页