Markov random field.docx
《Markov random field.docx》由会员分享，可在线阅读，更多相关《Markov random field.docx（18页珍藏版）》请在冰豆网上搜索。
Markovrandomfield
MarkovRandomFieldTutorial
1.WhatisMarkovRandomField?
Markovrandomfield（MRF）是PGM（probabilitygraphicmodel）中的一种模型（model），PGM是用图（graphic）的方式表示了联合概率（jointprobability）的分布。
由于表示这个联合概率的图的模型具有马尔科夫性质（MarkovProperty），因此他叫做Markovrandomfield。
接下来首先说Markovrandomfield的构成，然后在说什么是Markovproperty。
1.1TheStructureofMRF
MRF是PGM中的一类无向图（undirectedgraph）模型，无向意思是指变量之间只有依赖关系（dependence），没有因果关系（non-causal）。
其由节点（node）和边（edge）组成，表示为G=（N,E），其中N代表结点，E代表边。
其中每个节点（node）代表一个随机变量（randomvariables），边代表节点（随机变量）之间的依赖关系。
如下图就是一个MRF，下图中A，B，C，D，E节点都表示一个随机变量，然后A和B之间有边，就表示A和B有依赖关系，C和B之间没边，表示C和B独立。
设X是节点随机变量的集合表示，即X=
，对于此例子，X={A,B,C,D,E}，则X就是一个随机场。
如果X在满足MarkovProperty，则X代表的就是一个MRF。
1.2MarkovProperty
1.1中说明了Markov的结构组成，提到一个随机场，如果满足Markovproperty就是一个MRF，那么问题随之而来，什么是Markovproperty？
给定一个随机变量当前和过去所有的状态，其未来状态的条件概率分布仅依赖于当前状态；换句话说，在给定现在状态时，它与过去状态（是条件独立的），这就是MarKovProperty。
写成数学表示的形式如下：
比如我们以天气作为随机变量，那其具有MarkovProperty意思就是明天的天气状况只和今天的天气状况有关系，而和昨天的，乃至前天的等等都没有依赖关系。
1.3ConditionalIndependent
条件独立在PGM中是一个非常重要的概念，给定三个随机A，B，C。
条件独立可以定义为，给定随机变量C的情况下，A和B条件独立表示为：
或者表示为
这两者是等价的，可以证明。
在PGM中，我们可以写成数学表示：
，表示在给定条件C的情况下，A和B独立。
下面知己给出一个图像处理中的表示形式，下图节点都表示每一个像素，给定灰色的节点的时候，黑色的节点和白色的节点之间条件独立。
2.TwoPerspectivesofPGM
由于Markovrandomfield是PGM中的一种模型。
为了因此有必要说明下对PGM的两种理解观点，实际中原理的理解都是从这两个角度来的。
（1）PGM就是用图的方式表示随机变量之间的相互关系，PGM的节点代表了随机变量，节点之间的边代表了变量之间的相互依赖性，整个PGM表示了联合概率的分布。
（2）复杂的联合概率也可以分解为一系列因子（factor）的乘积（product），即PGM表示的联合概率分布的图也可以分解因子图，给出一个简单的例子。
如：
上式表示了联合概率的一个分解。
我们可以令因子
，
，
，因此联合概率可以表示为
，这个过程叫做PGM的因子化。
下图就是对这个例子从表示变量相互依赖的概率图转换为因子图，也叫做Gibbsdistribution。
刚才只是粗略的提到了理解PGM的两种概念，因子分解的这种理解在概率图中是非常重要的，因此接下来详细说一下PGM中的无向图如何因子分解。
2.1概率无向图模型的因子分解
2.2GibbsdistributionofMarkovrandomfield
依据2.1中所述，对于一个Markovrandomfield,AGibbsdistributiononthegraphGtakestheform:
wheretheproductisoverallmaximalcliquesinthegraph.Acliqueisasubsetofnodesinwhicheverynodeisconnectedtoeveryothernode.Amaximalcliqueisacliquewhichcannotbeextendedbytheadditionofanothernode.Ziscalledthepartitionfunction,andtakestheform:
The
areusuallywritten:
Tiscalledthetemperature,andisoftentakentobe1.So
hasthealternateform:
Where
iscalledtheenergy,Eitherthe
orthe
maybereferredtoascliquepotentials.
TheHammersley-CliffordtheoremstatesthatthejointprobabilitydistributionofanyMRFcanbewrittenasaGibbsdistribution,andfurthermorethatforanyGibbsdistributionthereexistsanMRFforwhichitisthejoint.Thatistosay,Hammersley-CliffordestablishestheequalityoftheMRFandGibbsmodels.ThissolvestheproblemofhowtospecifythejointdistributionofanMRFintermsoflocalfunctions:
itcannowbespecifiedbydefiningthepotentialoneverymaximalclique.
3.Optimisation
Anoptimisationproblemisonethatinvolvesfindingtheextremumofaquantityorfunction.Suchproblemsoftenariseasaresultofasourceofuncertaintythatprecludesthepossibilityofanexactsolution.
OptimisationinanMRFprobleminvolvesfindingthemaximumofthejointprobabilityoverthegraph,usuallywithsomeofthevariablesgivenbysomeobserveddata.Equivalently,ascanbeseenfromtheequationsabove,thiscanbedonebyminimisingthetotalenergy,whichinturnrequiresthesimultaneousminimisationofallthecliquepotentials.
TechniquesforminimisationoftheMRFpotentialsareplentiful.ManyofthemarealsoapplicabletooptimisationproblemsotherthanMRF.Forexample,gradientdescentmethodsarewell-knowntechniquesforfindinglocalminima,whiletheclosely-relatedmethodofsimulatedannealingattemptstofindaglobalminimum.
AnexampleofatechniqueinventedspecificallyforMRFoptimisationisIteratedConditionalModes（ICM）.Thissimplealgorithmproceedsfirstbychoosinganinitialconfigurationforthevariables.Then,ititeratesovereachnodeinthegraphandcalculatesthevaluethatminimisestheenergygiventhecurrentvaluesforallthevariablesinitsneighbourhood.Attheendofaniteration,thenewvaluesforeachvariablebecomethecurrentvalues,andthenextiterationbegins.Thealgorithmisguaranteedtoconverge,andmaybeterminatedaccordingtoachosencriterionofconvergence.Anexampleofthistechniqueinactioncanbeseenbelow.
4.MRFApplicationsToVision
Problemsincomputervisionusuallyinvolvenoise,andsoexactsolutionsaremostoftenimpossible.Additionally,thelatentvariablesofinterestoftenhavetheMarkovproperty.Forexample,thepixelvaluesinanimageusuallydependmoststronglyonthoseintheimmediatevicinity,andhaveonlyweakcorrelationswiththosefurtheraway.Therefore,visionproblemsarewellsuitedtotheMRFoptimisationtechnique.SomeexamplesofvisionproblemstowhichMRFshavebeenappliedare:
（1）Imagerestoration;
（2）Imagereconstruction;
（3）Imagesegmentation;
（4）Edgedetection;
Inthefirst3ofthese,thereisalatentrandomvariableforeachpixel.Thevariablesrangeoverintensityvaluesin1and2,whilein3thevariablestakeonsegmentidentifiers.Inproblem4,thevariablescorrespondtopairsofneighbouringpixels,andtheirvaluesarebinary,indicatingthepresenceorabsenceofanedge.Inallcases,theneighbourhoodconceptoftheMRFmapstothegeometricneighbourhoodoftheimage.Thatistosay,theedgesintheMRFgraphwillconnectgeometricallyclosepixelsoredges.Theappropriatesizeoftheneighbourhooddependsontheproblemathand:
alargerneighbourhoodhasmoremodellingpowerattheexpenseofgreatercomputationaldemandduringoptimisation.
ThefollowingdiagramillustratesthestructureofanMRFthatcouldbeusedforimagerestoration.Italsoshowshow"variables"correspondingtoknowndatacanbeincorporatedintothemodel.Thewhitenodesrepresenttheunknowntruepixelvalues,andthegreynodesrepresentthenoisypixeldata.Noticethatthelatentvariablesareconnectedtotheirneighbouringpixels,butthedatapointsareconnectedonlytoonelatentvariable.Thismodelsourbeliefthattheestimatedpixelvaluesshoulddependonboththenoisydataandtheestimatedneighbouringpixelvalues.
Figure2SectionofanMRFforanimagerestorationproblem
HavingconstructedanMRF,thecliquepotentialsmustbedefined.Thisencodestherelationshipbetweenvariables,andsothisiswherewegettospecifywhatwewantfromthesolution.Findinganappropriateenergyfunctionandselectingtheparametersthatgiveanacceptablesolutionrequiresinsight,aswellastrialanderror.However,therearemanyoften-used,standardenergyfunctionsfordifferenttypesofproblem.Forexample,ifthegraphoffigure2wereusedforimagerestoration,cliquepotentialsmighttaketheform。
可以简单总结下：
4.AExampleforImageDe-Noising
上叙述了那么多，由于比较忙，时间的关系，上面的英文就不翻译解释了，直接贴在上面，MRF的一个很经典的作用就是用来对图像去噪声。
上面叙述了MRF的原理推导，可以帮助很好的理解，但是如果要实际使用，还得通过例子，通过编程，才能知道算法具体怎么操作的，才能保证真正的懂了。
下面我们就做这个事情，如果想学MRF但是前面不怎么懂的，我只想说6个字，请在认为我有时间的时候联系我。
。
。
。
。
。
本人说话比较烦，所以先回顾下到目前为止，有哪些方法可以对图像去除噪声，郑重声明，下面方法有的知道，有的只是知道名字而已，就是为了补个全。
有兴趣可以自己研究。
下面开始图像去噪算法分类：
（1）空间域和时间域变换法：
空间域法是在原始图像上直接进行数据运算，对图像的像素值进行处理，包括领域平均法，空间域滤波法，多幅图像平均法和中值滤波法等等。
而变换域法是对图像进行某种变换，将图像从空间域转换到变换域，然后在变换域对图像处理，在将图像反变换回原来的域，达到去除噪声的目的，通常包括Fourier变换法，频域滤波法，小波变换法，稀疏性变换等等方。
（2）偏微分方程方法：
和小波变换，PGM等等一样，偏微分方程也是一个图像信号处理的有力工具，偏微分方程可以用在计算机视觉的很多方面，如图像去噪，图像分割，运动物体跟踪检测，图像恢复，图像锐化，对比度增强，图像量化等等，并且效果很好。
用偏微分方程进行图像处理的时是以被处理图像作为方程的初始解，用偏微分方程模型对初始图像进行求解，方程的解就是我们所需要处理的结果。
（3）基于随机场的的去噪算法，就是本总结重点所在。
从上面总结的几种算法可以看出，越是好的，听着越高端，然后学习是付出的时间也越多，实际中可以选择最适合的，但是学习的话，就要不仅要掌握基本的，而且还要掌握高端的，这样会的人越少，才能与众不同，突出价值。
如果用中值或者均值滤波来去噪的话，理解简单，实现简单。
如果用Markovrandomfield来去除噪声的话，光理解就一堆，实现也麻烦，但是相比于普通的均值，中值，档次就上去了，效果吗，我只能说最简单的随机场去噪效果不一定好，但是更高端的就会突显出其优势了。
下面就重点来实现这个事情，使用Markovrandomfield来实现图像的去噪，前面贴出的代码是用MRF对灰度图像去除噪声的，因为灰度图像有0到255级，所以处理比较麻烦，所以这里具体实例用二值图像做示范，灰度的原理一样。
Wehaveseenthatdirectedgraphicalmodelsspecifyafactorizationofthejointdistributionoverasetofvariablesintoaproductoflocalconditionaldistributions
AMarkovrandomfield,alsoknownasaMarkovnetworkoranundirectedgraphicalmodel（KindermannandSnell,1980）,hasasetofnodeseachofwhichcorrespondstoavariableorgroupofvariables,aswellasasetoflinkseachofwhichconnectsapairofnodes.Thelinksareundirected,thatistheydonotcarryarrows.
Wecanillustratetheapplicationofundirectedgraphsusinganexampleofnoiseremovalfromabinaryimage（Besag,1974;GemanandGeman,1984;Besag,1986）.Althoughaverysimpleexample,thisistypicalofmoresophisticatedapplications.Lettheobservednoisyimagebedescribedbyanarrayofbinarypixelvaluesyi∈{−1,+1},wheretheindexi=1,...,Drunsoverallpixels.Weshallsupposethattheimageisobtainedbytakinganunknownnoise-freeimage,describedbybinarypixelvaluesxi∈{−1,+1}andrandomlyflippingthesignofpixelswithsomesmallprobability.Anexamplebinaryimage,togetherwithanoisecorruptedimageobtainedbyflippingthesignofthepixelswithprobability10%,isshowninFigure8.30.Giventhenoisyimage,ourgoalistorecovertheoriginalnoise-freeimage.
Becausethenoiselevelissmall,weknowthattherewillbeastrongcorrelationbetweenxiandyi.Wealsoknowthatneighbouringpixelsxiandxjinanimagearestronglycorrelated.ThispriorknowledgecanbecapturedusingtheMarkovrandomfieldmodelwhoseundirectedgraphisshowninFigure8.31.Thisgraphhastwotypesofcliques,eachofwhichcontainstwovariables.Thecliquesoftheform{xi,yi}haveanassociatedenergyfunctionthatexpressesthecorrelationbetweenthesevariables.Wechooseaverysimpleenergyfunctionforthesecliquesoftheform−ηxiyiwhereηisapositiveconstant.Thishasthedesiredeffectofgivingalowerenergy（thusencouragingahigherprobability）whenxiandyi
升级会员 