基于分级meanshift的图像分割算法概要.docx

基于分级meanshift的图像分割算法概要.docx

《基于分级meanshift的图像分割算法概要.docx》由会员分享，可在线阅读，更多相关《基于分级meanshift的图像分割算法概要.docx（17页珍藏版）》请在冰豆网上搜索。

基于分级meanshift的图像分割算法概要

计算机研究与发展

ISSN100021239ΠCN1121777ΠTP

（　收稿日期:

2008-05-06;修回日期:

2009-05-08

　基金项目:

国家自然科学基金重点项目（60533080;cast基金重点项目（cast2007041;国家自然科学基金项目（60773172

基于分级meanshift的图像分割算法

汤　杨

1,2

　潘志庚1　汤　敏3　王平安4　夏德深

2

1（浙江大学CAD&CG国家重点实验室　杭州　3100272（南京理工大学计算机科学与技术学院　南京　2100943（河海大学计算机及信息工程学院　南京　2100984

（香港中文大学计算机科学与工程学系　香港（tang.yang@163.com

ImageSegmentationwithHierarchicalMeanShift

TangYang1,2,PanZhigeng1,TangMin3,Pheng4,Xia2

1（StateKeyLaboratoryofCAD&CG,ZhejyH2（SchoolofComputeringScience&Technology,Nanjing2100943（CollegeofCom,HohaiUniversity,Nanjing210098

4

（DepartmentofCom&Engineering,TheChineseUniversityofHongKong,HongKong

Abstract　Connectedchannelswerefoundsomewhereinthefeaturespaceintraditionalmeanshiftmethod.Consequently,toaccomplishthesegmentationbyonlyonetrialoftenleadstounsatisfactoryresult,especiallyinweakedgesorregionswithoutGaussiancharacter.Tosolvethisproblem,theauthorsdesignahierarchicalsegmentmethodbasedonmeanshifttechnique.Uponontheoriginalsamplingdata,clusteringisperformediterativelywithdifferentbandwidthsonthecentersgainedpreviously.Thus,atreestructureisestablishedbetweenthenodesindifferentlevels.Accordingtotheinheritancerelationship,theleafnodesaremergedandclassifiedintodifferentcategoriesfinally.Themethodwasimplementedandtestedinbothgrayandcolorimages.Comparedwiththetraditionalmeanshiftmethod,thehierarchicalmethodhasadvantagetoreservethedetaislinthesamescale.Also,althoughthemultipletimeclusteringisneeded,thecomputationcostwillnotincreaseobviouslyduetothedecreasingsamplesizesandvariedbandwidths.Thehierarchicalmeanshiftmethodhasbeenprovedtobepromisingintheexperiments.Butmoretheoreticalanalysisisrequiredandthemethodalsoneedstobeimprovedbymoreexperiments.Keywords　meanshift;hierarchical;imagesegment;connectedchannel

摘　要　实验发现传统meanshift算法进行分割时常会产生连接通道问题,使得几个分类簇之间无法完

全分开.针对该问题,提出一种改进的分级meanshift图像分割算法,在初次迭代获得的聚类中心基础

上采用不同的带宽矩阵进行多次聚类,从而获得不同级的聚类中心集合,并建立一个归属树结构,最终通过叶节点与根节点的归属关系进行归类从而完成图像分割.实验证明改进算法可以更好地保留图像的局部信息,同时具有较好的适用性.

关键词　meanshift;分级;图像分割;连接通道中图法分类号　TP391.41

　　meanshift是一种非参数概率密度估计的方法.通过有限次的迭代过程,Parzen窗定义的概率密度函数能够快速找到数据分布的模式（modes.由于具有原理简单、无需预处理、参数少等诸多优点,meanshift方法在滤波、目标跟踪、图像分割等领域得到了广泛的应用[122].

基于meanshift的图像分割可以看为特征空间的聚类问题,根据选取空间的特征维数（包含灰度、色彩、梯度等的不同,meanshift方法沿着概率密度函数梯度上升方向找到局部极大值,从而将具有相近特征的向量归为一类,达到分割的目的.meanshift相关原理最初由Fukunaga等人[3]提出,Cheng[4],Comaniciu等人[5]进行了发展并成功运用于图像的滤波和分割中.由于带宽确定了meanshift过程核函数的性质,文献[6]适应的核函数7]MR图像的分割中,.与此相似,Jimenez等人[8]将非参数分割和边缘检测方法相结合,进一步增强了MR图像分割的鲁棒性.而对于对称性在处理空间特征结构的不足,Wang等人[9]

和陈允杰等人[10]设计了各项异性的核函数,获得了不错的效果.根据方法原理,当Parzen窗靠近图像边缘时往往产生较低的迭代频率,基于该先验知识,Song等人[2]在分割过程中进行选择合并,较好地解决了过分割问题.Irene等人[11]将图像进一步划分为子图像,通过在不同尺度上的聚类来获得更好的分割效果.同时,Yang等人[12]和Zhang等人[13]对于meanshift算法还从性能的角度进行了优化.

以上的研究和优化主要集中在对先验信息的利用和核函数的改进上,几乎没有改变meanshift的分割原理,通过核函数对采样数据进行多次迭代从而达到收敛状态,然后将空间域和Range域中靠近的聚类中心进行合并,进而分割.研究发现,对于部分不符合高斯理想分布状态的采样数据,特征向量本身的分布具有很大的随机性,聚类的结果往往产生大量的局部极值,直接分割的结果有时并不理想.因此本文基于meanshift方法原理,提出一种基于分级meanshift的图像分割算法.其主要思想是在多次迭代形成稳定的收敛点后并不停止,而针对聚类中心,根据meanshift原理采用不同的带宽核函数循环迭代,直到最终收敛.这样可以在获得不同级的聚类中心集合间自动建立归属关系的树形结构,最终根据叶节点与根节点的从属关系进行分割.

实验表明改进算法可以很好地处理图像中的弱边界信息,从而在分割时更好地保留特征空间的结构信息,同时由于没有改变meanshift算法原理,因此不但保留了算法原先的优点,同时也具有较强的适用性,易于和现有其他优化方法结合使用.

1　meanshift分割原理

采用meanshift分割的本质是在依据不同的标准对特征空间进行聚类.设采样数据形成的d维的特征向量集合Sd={sk,k=1,2,…},其中s=

[ss

sr

]T,一般空间域向量ss

2维,Range域向量xrd.在该集合中,概率密

fH（x=

n

∑n

i=1

K

H

（x-xi.（1

　　在式（1中,带宽矩阵H可由带宽系数h来简化表示,H=h2I,同时采用剖面函数k来表达核函

数K（x=k（‖x‖

2

则式（1可以表示为f^h（x=

nh

d∑n

i=1

k

‖

h

‖2

.（2

　　由核函数的可分离性,式（2还可表示为

Khs,hr（x=h2shpr

k

‖s

hs‖2k‖r

hr

‖2,（3

其中,C为归一化常量,h2s和hp

r分别表示空域和

Range域的不同带宽系数.根据meanshift原理,寻

找f^h（x极值的过程可以直接通过均值的漂移来完成[426],因此每次漂移后新的特征向量由式（4获得:

yj+1=

∑

n

wixig（‖

sshs‖2g（‖rr

hr

‖2

∑

n

i=1

wig（‖s

s

hs‖2g（‖r

r

hr

‖2

（4

其中,wi为权重系数,g（x=-k′

（x称为k的影子函数.漂移的过程不断进行,对于每个特征向量xk,通过多次迭代收敛到不同模式点（和带宽函数[6]相关,从而形成聚类中心集合Cd={cd,k,k=1,2,…,

n}.经过该预分类的过程,初始特征向量依据聚类中

心的不同划分为n个类,然后再对Cd从空域和Range域分别进行检测,若任意ci,cj∈Cd,i≠j满

足在特征空间中位于相同包围球内,则认为特征相近,将ci和cj归为一类[5],即

Cd={ck

‖cri-crj‖>hr,

‖csi-csj‖>hs,i≠j}.

（5

5

241汤　杨等:

基于分级meanshift的图像分割算法

　　经过以上的处理,最终形成的Cd即为分割的

结果.

2　分级meanshift分割算法

2.1　算法原理

根据传统meanshift分割算法原理,采样数据Sd经过多次迭代后形成收敛的聚类中心集合Cd,并根据各自聚类中心进行初次分类.而实验发现,在迭代收敛后,由于采样数据本身分布的任意性,很多图像产生的集合Cd会散布于特征空间,此时滤波更多的是起到平滑作用.

研究还发现,在采用meanshift对图像进行初次聚类后,部分聚类之间（尤其在弱边界区域往往存在连接通道,

于Cd中产生的局部极值点往往并没有很好地分离,这样根据式（1的原理进行分割时,若h较大,聚类则会沿着聚类点延伸开来,无法很好地分类;反之若h取得较小则会产生过分割现象.

如图1所示,由于经过迭代后的Cd同样包含了原采样数据概率密度分布信息,因此改进算法考虑采用meanshift原理,对Cd进行反复聚类,每次通过迭代收敛形成新的聚类中心集合Cid,i=1,2,…,最终在设定的带宽矩阵的条件下收敛,得到Cnd,其中n表明了分级聚类的次数.在每次meanshift过程中,初始向量和收敛时的终止向量分属于不同级的聚类中心,,从而在,,从而Fig.1　Comparehierarchicalmeanshiftandtraditionalmeanshift.

图1　分级meanshift和传统meanshift分割算法的区别

2.2　初次聚类和重复聚类多级meanshift迭代过程根据聚类数据类型的不同,可分为初始聚类和重复聚类两个步骤过程.其中初次聚类针对原始采样数据Sd进行,此时的带宽

参数设为h0s和h0

r,因为该过程是后期重复聚类的

基础,同时为了保证后期聚类中还留有足够的局部结构信息,因此h0

s和h0

r不宜设置过大.经过类似第

1节的算法原理的多次迭代后,Sd在由h0s和h0r控

制的平滑解析度下收敛于Cd.

重复聚类的过程是以Cd为基础进行,依据不同的hi

={hi

r

his

},形成不同级的聚类中心集合Cid

最终收敛到Cnd.一般情况下,若有n≥i>j≥

0,则hi

r≥hj

r,hi

s≥hj

s,同时,在重复聚类过程中,由于新一

级聚类中心集合是对上一级聚类中心集合聚类的结果,因此数据规模呈收缩趋势,即当有n≥i>j≥0时,‖Cid‖≥‖Cjd‖.

在重复聚类中,设相邻的两级聚类中心集合分

别为Cid和Ci+1d,则Ci+1d={ci+1d|cid→ci+1d,cid∈Cid},其中映射cid→ci+1d中cid以Cid为采样数据,依据式

（1不断迭代收敛于ci+1d.迭代中常用的核函数有

Epanechnikov（式（6和高斯核（式（7:

KE（x=

2

c-1d（d+2（1-xTx,xT

x<1,0,xTx≥1.

（6

KN（x=（2

π-dΠ2

exp（-2

‖x‖

2

.（7

　　在收敛性方面,由于在多级meanshift算法中,上面核函数的剖面函数依旧为单调递减的非负凸函数,因此依据文献[5]的类似证明可知,经过有限次的迭代后数据能够收敛.2.3　分级带宽参数

分级meanshift分割算法的另一个不同之处在于迭代过程中,在不同级时采用不同的带宽矩阵,这里我们依旧采用带宽参数和单位矩阵来表达带宽矩

6

241计算机研究与发展　2009,46（9

阵,用数组bandwidth来保存预先设定的带宽参数,这样的好处在于可以采用较小的带宽来保留小尺度下的细节信息,同时在迭代升级时采用较大的带宽对过细的局部信息进行聚集和合并.和采用大带宽对图像直接进行meanshift聚类相比,分级带宽参数不但能控制最终的分类停止在指定目的尺度下,还能有效地保留部分局部信息,使得它们不至于过早淹没在大尺度滤波窗口下,而是根据一个分级的策略逐步合并.2.4　停止条件与分割

在分级meanshift分割算法中,最终聚类数‖Cn

d‖是由采样数据Sd和带宽参数数组Bandwidth共同确定.当聚类数不发生变化时达到收敛状态.即算法停止的条件为size（Ci-1d=size（Cid,其中Ci-1d和Cid分别表示在i-i成的聚类中心集合由于mean,meanshift算法在迭代过程中动态地建立起一个树形结构.其中在每次漂移时,若向量cid∈Cid经过迭代收敛到ci+1d,则新向量ci+1d属于i+1级的聚类中心,即ci+1d∈Ci+1d,且将ci+1d记为cid的父亲.这样从叶节点初始数据出发,不断聚类直到收敛到根节点,其中最终收敛后相互分离的子树的树木即是分割类别数.分割则是沿着树结构从叶节点向根节点逆向回溯的过程,归属于同一根节点的初始向量归于同一类

.

Fig.2　Clusteringtree.

图2　归类树

2.5　复杂度分析

由分级meanshift算法的原理可知,由于采用

多次meanshift聚类过程,新算法显然增加了迭代的次数.但研究发现由于有效地减小了初始聚类的带宽参数（核函数半径,同时聚类的样本数是逐级减少的,因此分级方法并未显著增加计算复杂度.

设初始采样数据样本大小为s0=size（Sd,要

求在目标尺度hN（为了方便讨论,这里设hs=hr=hN下收敛得到分割结果.传统meanshift方法的计算复杂度为O（s0hdNm

其中m表示平均的迭代次数.而在分级算法中,设第i级的样本规模为si,带宽参数为hi,则新算法计算复杂度为O（

∑

i

sihdi

mi,mi表示第i级的平均迭代次数.在新算法

中,相对于目标尺度hN,其他级数的带宽参数与其呈几何级数关系,即hiqN-i=hN-c（c为修正参数,q为公比,而在高斯样本假设下,样本规模si是超线性下降的[3],因此相对于传统算法,新算法仍具有计算性能的优势.

由上可知,,,样本规模,,可能.

3　实　　验

为了实验证明算法的有效性,我们分别实现了分级meanshift算法和传统算法.和文献[5]相似,我们采用了Epanechnikov函数作为核函数,其影子函数为均值函数.实验中分别采用了彩色图像和灰度图像,其中彩色图像中Range域为Lab特征空间,灰度图像则直接采用灰度值.需要说明的是为了便于比较,实验中都省去了相关后处理,例如对较少像素区域进行合并以及对边界进行标示等操作.

根据图1所示的算法原理,采用face图像,图3给出了实验中部分不同级聚类的结果,初始带宽为

hs=8,hr=8,经过多级meanshift过程,最后在hs

=20,hr=20的尺度条件下收敛终止,得到的分割图像如图3（c所示.而在相同的情况下,如果直接

采用hs=20,hr=20的带宽进行分割,得到的结果如图3（b所示.根据局部细节（如图3（d和图3（e所示比较可见,在相同的分辨尺度下,分级mean

shift分割算法可以更好地保留局部的结构信息.

我们采用传统算法和新算法对大量图像进行了实验,部分结果如图4至图7所示.其中图4（a为原图像,图4（b为传统meanshift分割后的结果,图4（c为本文算法的结果,其中对局部区域进行放大,可以看出在castle中（如图4（d所示,新算法（如图4（e所示保留住了城墙中的门洞信息,而在house中,则在窗户部分（如图5（e所示更多地保

留了局部的结构信息.

7

241汤　杨等:

基于分级meanshift的图像分割算法

8

241计算机研究与发展　2009,46（9

汤　杨等:

基于分级meanshift的图像分割算法1429　　我们还对不同分辨率下实验图像进行了计算效率的统计,其中针对分级meanshift算法（HMS和传统meanshift（MS进行对比.从图8（a（单位为秒的统计结果不难发现,相比于传统方法,分级方法不但没有增加计算时间,反而在很大程度上提高了计算效率.图8（b给出了计算过程中采用分级核函数聚类后不同分辨率图像在不同尺度上聚类后的样本规模变化.可见在初始聚类时,样本规模虽然大但核函数半径很小;而分级迭代到最后,虽然带宽参数调整到目的尺度下,但此时的样本规模已极大地减少,因此虽然迭代次数增加,但计算效率的提高同样成为可能.Fig.8　Pperformancecomparison.（aTimecostand（bSamplesize.图8　算法性能比较.（a计算效率对比;（b样本规模变化4　不足与讨论根据meanshift算法原理,通过对聚类中心的不断迭代,本文给出一种基于多级meanshift的图像分割算法,实验表明多尺度上的聚类可以更好地保留局部信息.但实验中发现算法还有不足之处,值得改进.首先对于部分细条状区域分割不太理想,如图5中的屋梁部分,分析问题的原因在于meanshift核函数为各项同性,在质心转移中各方向权重相同,因而在高一级的聚类中,屋梁中间部分分别向两端靠拢.问题的解决需要引入各项异性的核函数,

1430计算机研究与发展　2009,46（9[11]IreneGu,VasileGui.Colourimagesegmentationusingadaptivemeanshiftfilters[C]ΠProcofIntConfonImageΠProcessing.Piscataway,NJ:

IEEE,2001:

726729analysisusingquasi2Newtonmethods[C]ΠProcofIntConfΠ450[13]the9thEuropeanConfonComputerVision.Springer,2006:

257268YangC,DuraiswamiR,DeMenthonD,etal.Mean2shiftBerlin:

根据局部结构动态生成.另外,由于带宽矩阵是确定最终分割效果的重要参数,因此如果能根据图像本身的结构自动生成各区域各级中不同的带宽参数,应该能够更好地动态确定需要保留的局部信息,从而更好地分割.因此基于多级meanshift分割的算法只是给出了一个分割的新思路,需要更好地完善和改进,以上几点不足也是我们进一步研究的目标所在.参考[1][12]onImageProcessing.Barcelona,Spain:

IEEE,2003:

447ZhangKai,JameskTKwok,TangMing.Accelerated文献[2][3][4][5][6][7][8]Jimenez,Juan[9][10]frequencyandposition[C]ΠProcofthe14thEuropeanΠSignalProcessingConference.2006FukunagaK,HostetlerL.Theesti