毕业论文超像素分割技术研究文档格式.docx

1、1.1论文背景和意义 1.1.1选题的背景 1.1.2研究此课题的意1.2国内外研究状况 1.3本文的主要工作 4 第 2 章 基本理 论 52.1算法的模型 2.1.1基于图论的分割方法 2.1.2基于梯度的分割方 82.2几种常见的算 92.2.1Graph-based 方法 2.2.2Superpixel lattice 方 10基于熵率的方 法 12Turbopixels 方 13SLIC 方 14QuickShift 15 第3 章 实例分 析 162.1.1数据的收集与处理 数据集获取 2.1.2图像处理效果的对比分析 17分割结果比较 2.1.3提出合适的评判准则 192.2.4

2、分割存在的问题 203.3.2 超像素合并策略 第 4 章 总结与展望 结 25致参考文 26 谢 27献 28ContentsAbstra 错误未定义书签Abstract Chapter 1Introduction 3.4The concept of visualization in scientificcomputing 11.1.1Background 1.1.2significance 3.4researchstatus 3.4maincontribution 4Chapter 2 basictheory 2.1Algorithm 2.2.5the superpixel segment

3、ation based on graphtheory 52.2.6superpixel segmentation based ongradient 86some classicalAlgorithm 6Graph-basedmethod 6Superpixel lattice12.2.3the method based on entropy TurbopixelsSLIC 15Chapter 3 Chapterexperiments the collecting andpreprocessing datacollectin contrastiveanalysis 3.2.1comparison

4、 criteriastandard 3.3.1Disadvantages mergestrategy Chapter 4 Implementation ofalgorithm Conclusions 26Acknowledgements References 第 1章 绪 论论文背景和意义选题的背景视觉感官在人类所有感官中占据重要地位，计算机视觉 : 要求计算机模拟人的 视觉机理来获取和处理信息，正逐渐成为热门研究领域。随着科学技术的迅速发 展，各种数码产品不断更新，数码相机、手机的摄像和拍照功能越来越强大，智能 电视的画面越来越清晰，这些数码产品的图像达到几百万甚至上千万的像素分辨 率，还有

5、一些专门用于超清摄影的设备。由于图像的分辨率不断增大，许多基于像 素级的传统分割算法花费的时间越来越长，如何才能减少分割的数据运算量成为图 像分割的难题之一。人类视觉感知到的图像信息并不是从某一个孤立的像素点得到 的，只有许多像素点组合在一起才对人类的视觉感知有意义。像素并不是视觉感知 的着重点，这种需求下，产生了“超像素”的概念。研究此课题的意义 超像素分割是图像分割重要的一个分支，是一种图像信息强有力的预处理技 术，为图像分割与图像处理提供了有力的帮助和支持。超像素技术也是广泛的应用 于社会生产的各行各业各领域。超像素的结果对图像处理都带来很大的便利，目前 超像素分割技术也逐渐应用于医学图

6、像诊断、军事精确打击、数字图像处理、目标 跟踪、模式识别、虚拟现实场景、 3D 重建、建筑物定位布局、大气图像分析等领 域，而且取得了显著地成果。尽管图像分割和超像素分割得到了广泛重视、研究和 应用，国际上也有许多分割技术的学术会议，有关图像分割研究的文章早已数以万 计，但是至今我们国内这方面的研究比较国外来说有一定的落后，本文对常用的几 种超像素分割算法进行深入比较分析验证，希望能够给超像素技术提供一点支持。国内外研究状况 图像分割是图像处理中的一个基本问题，同时也是模式识别、目标追踪、1 场景分析等计算机视觉问题的基础，超像素概念最早由国外学者提出使用的， 由于图像分割理论较为成熟，因此超

7、像素分割发展也较为迅速，相应的算法和应用 都比较多 :国外:（1）Ren和Malik最早提出使用Normalized Cuts（N-Cuts） 来完成超像素 分割，而且对超像素做了定义，得到相似大小和紧凑的块应用于各个领域，但是它 的计算开销太大。 （2）Levinshtein 等人提出了一个叫做 Turbo-Pixel 方法有效代 替超像素完成相似区域的规则分割，基于图像中设置的均匀种子点得到物体边缘曲 线，从而完成图像超像素的分割。 （3）Felzenszwalb 和 Huttenlocher 提出了一种 新方法一FHII将图像分成一些区域，找到两个区域的边界将图像分割。算法运行时 间对于

8、图像边的数量是线性的，计算非常之快。 （4）A.Moor 等人提出了 Lattice - Cut 11（格形分割）的超像素分割技术，用规则的格形方法来分割，保持像素之间的 相对位置和关系，保Comaniciu 等人提出了持了图像的拓扑结构，有利于图像的后续处理。 （5）Mean-Shift 方法，来分析一个复杂的多模态的特征空间，采用聚类的方法把相 似的特征聚到一起，形成不同的区域块，有很好的性能。 （6）Veksler 等人以图割 问题为基础构建了一个超像素分割的方法，采用一种密集的块重叠技术，将图像分 为均匀大小的有重叠的块，再根据相关特征融合这些块，使它们互不重叠的分布在图片上达到超像素

9、分割的效果，其分割后的超像素大小上近似且非常规则，而且作 者从图像到视频，将超像素延伸到超体素，同样收到良好的7）Achanta 等人提出了简单线性迭代聚类 （SLIC，Simple Linear 效果。 （Iterative Clustering） 的方法，只需设定目标超像素的数量即可，且运行速 度较快，只需要线性的运行时间和存储空间。 （8）Liu 等人提出了基于熵率的超像 素分割技术，信息熵有着非常好的性质，将准确的分析图中的相似性关系，其效果 的准确率最高。基于分类 : 超像素生成算法大致可分为基于图论的方法和基于梯度下降的方法 两类。 （1） 基于图论 :Felzenswalb 等人

10、提出的 graph-based 方法、 Shi 等人提出的 Ncut（normalized cuts） 方法、 Moore 等人的 superpixellat-tice方法和 Liu 等人提出的基于熵率方法。 Ncut 算法利用轮廓特征和纹理特征来全 局最小化代价函数，它能生成规则的超像素，但是图像边界的保持效果不好、计算 量较大，处理大图片时速度很慢。 Graph-based 方法使用最小生成树的思想来分割 图像，它能较好地保持图像边界，速度较快，但是得到的超像素大小和形状都不规 则。 Superpixel lattice 方法保持了图像的拓扑结构信息，但性2 能严重依赖于预先提取的图像的边

11、界。熵率法提出了包括图像随机游走熵率和 平衡项的目标函数 , 通过最大化目标函数以实现分割，它产生的超像素比较规则和 均匀。 （2） 基于梯度下降法 :Vincent 等人的分水岭 （watersheds） 方法、 Comaniciu 等人的 MeanShift 方法、 Vedaldi 等人的 Quick-shift 方法、 Levinshtein 等人的 Tur-bopixels 方法和 Achanta 等人的 SLIC（simple linearitera-tive clustering） 。它们都采用了聚类的基本思想 ,Turbopixels 是基于 几何流的水平集方法，对初始的种子点逐

12、步进行碰撞，最终将超像素近似均匀地分 布到图像平面上。 Mean-Shift 是一个迭代模态搜索的过程，它能产生形状规则的超像素，但速度慢，并且不能控制超像素的数量、大小和紧凑度。 Watersheds 是 一种基于拓扑理论的数学形态学分割方法，该方法速度快，但是不能控制超像素的 个数和紧凑度。 SLIC 算法是基于颜色和距离相似性进行超像素分割，该方法思想 简单，可以生产大小均匀、形状规则的超像素。由于超像素能够提取中层图像特 征，它通常作为分割算法的预处理步骤，已经成为视觉领域的一项关键技术。国内: 由于计算机视觉研究领域技术进入国内较晚，相对超像素分割方面 的技术起步也较晚，集中出现在最

13、近五年，以超像素的应用为主，对这方面的理论研究 较少，研究现状 :（1） 苏金玲等人利用超像素分割技术和 Graph-Cut ，提出一种快速的显著对 象 自动分割方法，把颜色和亮度等特征显著地区域分割出来。 （2） 刘陈等人的研究是 应用超像素分割的结果，把超像素当作像素来处理问题，保留了绝大多数边界特征 且大大优化了算法的复杂度，是基于 Mean-Shift 算法实现的。 （3） 刘靖等人通过应 用超像素分割提出了一种提取户外建筑目标图像中布局信息的方法，效果较好。 （4） 袁淑娟等人把超像素技术应用于虚拟现实场景构建，先把图像分为超像素，再增加 类别标志把图像分成不同的集群，利用三维技术输

14、出三维场景，就可以高效地构建 出虚拟现实场景。 （5） 张微等人用 Mean-Shift 算法将图片分为超像素，以超像素为 节点建立图模型，用于CRF条件随机场）的参数估计和推导，超像素技术不但使其 极大缩短了时间，而且提高了分类的准确率。 （6） 韩守东等人通过使用高斯超像素 技术来构建 Graph Cuts 模型以实现图割算法的加速，提出了一种交互式的快速图 像分割方法。超像素生成算法将图像划分成同质小区域，同一区域内的像素点具有相似的亮 度、颜色、纹理等性质，因此它们的聚集结果便可以方便地以整体特征代表整个区 域中的所有像素点，而一个这样的同质小区域就是一个超像素。用超像素代替像素点作为

15、图像处理的基本单位，可以降低信息冗余，减少分类器所 需样本点或简化拓扑结构，具有更高的视觉等级和更丰富的意义，可提升后续图像 处理算法的效率，实质性地提升着我们的工作质量。以往基于图论的图像分割算法 只能分割分辨率较低的图像，当对分辨率较高的图像进行处理时，需要先对图像进 行降低分辨率的处理，而超像素分割算法克服了这个缺点。本文的主要工作 现在超像素越来越被广泛地应用于计算机视觉领域中，并且作为图像分割和模 式识别的初始阶段，最根本的原因是 : 一方面是使用了超像素后可以有效地减少图 像局部信息的冗余，使图像处理的复杂度和运算量大大降低 ; 另一方面是基于像素 级的传统的图像处理方法，也不能准

16、确的定位目标区域的边界，只能给出一个大概 的位置。所以超像素分割的效果和标准的人工分割还有一定的差距，而且超像素分 割算法的分割结果进行合并处理后，仍然不能完全避免过分割现象，仍然需要进一 步对过分割现象进行改进。虽然近年来新的研究成果越来越多，但由于图像分割本身所具有的难度，使研 究没有大的突破性的进展，仍然存在的问题主要有两个 : 其一是没有一种普遍使用 的分割算法 ; 其二是没有一个好的通用的分割评价标准。综述国内外各种有关超像素分割算法模型、算法实现步骤 ; 对比分割效果分析 不同留在理解各种算法模型实现的基础上，搜集相关模型实际的应用效果 ; 分析不 同模型图像处理效果在不同指标精度

17、的限制下，编写相关程序对图片预处理，比较 结果结合实际给出恰当的评判标准。4第 2 章 基本理论算法的模型基于图论的分割方法所 2003 年 Ren 和 Malik 提出超像素，认为像素不是自然实体，是图像离散化 的表示，是中等程度分辨率的图片，有很多的像素个数，在像素层面上对图像进行 优化很困难，为解决这个问题提出超像素的概念，即指具有相似纹理、颜色、亮度 等特征的相邻像素构成的图像块。图像块保留了进一步分割的大多有效信息，一般 不会破坏图像中物体的边缘信息，用超像素代替像素点作为图像分割的目标能够减 少图像分割的规模，大大提高计算效率。图论作为一种数学方法和理论，主要研究具有特殊性质个体间

18、的关系，被广泛 应用到生物，信息，物理等领域。 20 世纪 80年代才在图像处理方面得到应用。在 研究出的许多基于图论的分割和聚类方法的中心思想是形成加权图。将图像先映射 为加权无向图G,图G的每一个顶点V对应于图像的像素或者区域，G的每一条边 E都被进行了加权，利用对应的分割准则得到最好分割。以下介绍图论在图像分割 领域中的研究情况。给定图像I，构建图G=（V,E,W）, V:每个像素作为图的一个节点，E: 定范围内的连接边界，像素 i 和像素 j 间的差异或相似度为权重 w（i,j） ，公式 :2,XX2（i）（j）2,FF; 当 X（i）-X（j）,er,（i）（j）222,*we ,i

19、j2x,1,0; 其他,X（i） 像素点 i 的空间坐标 ;, 高斯函数 （guassian） 的标准方差 ;, 空间距离的高斯函数 （guassian） 标准方差 ; xr 两个像素的距离，在这个距离之外时，两像素的权重为 0;F（i） 像素点 i 基于亮度、颜色或纹理信息的特征向量，分割点集时 F（i）=1 ， 分割对象为灰度图像时， F（i）=I（i） ，对于分割色彩图像时， F（i） =v,v?s?sin（h）5,v?cos（h）（i），其中，h，s，v为图像在彩色空间（HSV）的值，对于纹理图 像分割F（i）=，其中是D00滤波器的输出。I*f,l*f（i）f1 niNormaliz

20、ed cut ，Ncut （ 归一化割分割方法 ） 是由 Shi 等人提出的，测量图 G 所有连接节点的总边界权重为分割成本通过下式 （ 广义特征值系统的特征值及其对 应的特征向量 ）:（2-2） ， D,W,yDyyD 对角线上为d的MXM的对角矩阵；,w（i,j）, 的 MIXM 矩阵；wijT向量,满足:，为单位向量。Ncut分割的真实解是广y（i）,1,b,yD1,0,义特征值系统的第二个最小特征向量。在不同的空间分离半径下， W性质不同，Shi等人对其进行了改进，rij提出了有偏差的归一化分割，相较于传统的 Ncut 算法，它存在两个优势 :a） 允 许使用 top-down 先验证

21、信息来寻求解决方法 ；b） 给定未约束问题的谱方法，约束问 题的解决方案可以在很短时间内计算，且允许算法以交互的模式来运行。 ,en 等人 提出了学习一个分类器来进行图像分割的方法。首先用 Ncut 算法将图像映射为超 像素图，它认为好的分割应从相似性、邻近性和连续性等方面来评判，因此采用了 经典的 Gestalt 准则来衡量分割质量的好坏，包括区域内和区域间的纹理相似 性、亮度相似性、轮廓能量和曲线连续性四方面的特征。最后，归一化这些特征， 并训练相应的分类器来对分割后的结果进行分类。它是一种严格的图论分割，能约 束产生 许多小的、紧凑的、近似均匀区域。 基于图论的图像分割是一种自上而下 的

22、全局分割方法，其主要思想是把整幅图像看做一幅带权无向图，图像中每一个像 素对应图中的一个节点，像素之间的相邻关系对应图的边，像素特征之间的差异或 相似性对应边上的权重。然后在所建立的图上利用各种分割准则来对图中的节点进 行划分，进而完成 对图像的分割。在基于图论的超像素计算方法中，每个像素点 被视作是图里面的节点，像素之间的相邻关系对应图中的边，边的权重设置为与两 节点间相似度成比例的对应值。运用图论的研究成果，根据图像中各个局部之间的关系和相似性，将图像分割成各具特性的子图的方法。它考虑的是图像全局的性质 分布，相对于一些传统的分割方法具有自己的独特优势。首先，图论算法很好的体 现了局部和全

23、局之间的结合关系。由初始图像构造图时，图中连接各个顶点的边的 权值体现了像素之间的局部联系，这种联系既可以是像素的灰度、颜色、纹理的相 似性，也可以是这些性质的组合，或者可以有更6为复杂的规则。而将图分割成一个个的子图则体现了图像特征的全局分布特 性。基于图论方法的这种局部和全局的结合特性，与人类视觉也有着惊人的相似。 其次，弓I入图论做图像处理的一个很重要的优势就是可以利用大量现有的图论研究 成果。Ncut方法是利用边缘和纹理信息递归地将图像进行分割得到结果的，综合考虑了全局和局部的信息特点获得全局最优化处理，因此，可以取得在图中所定义的 能量函数的全局最小值。 将图G = （ V ，E）分

24、割为两个不相交的,集合A、B，且存在A?B = V，A?B =。评价分割质量好坏的最小割标准为cutABwuv（,）（,）,uAvB,使用图论中的最优化分割理论就可以获得 cut（A,B）的最小化解Min-cut，但是这种方法存在一个严重的缺点就是偏向于割开单个节点或者小数节点集，如图belter cui图 1 最小化解 Min-cut 偏向于割开单个节点早期的 Ncut 方法由 Shi 等人于 1997 年提出，并于 2000 年作了相应的改进。 Ncut 对最小割算法进行改进，采用新颖的归一化割标准，同时度量了区域间的差 异和区域内的相似性，很好地避免了最小割准则存在的缺陷。 Ncut 准

25、则定义如下 :cutABcutAB（,）（,） （2） NcutAB（,）, ，assocAVassocBV（,）（,）其中: assoc（ A ，V） 是指子集 A 中所有节点到图中所有节点的边连接权重总 和， assoc（ B ，V） 也是类似的定义。这样定义两个区域之间的不相关性，使单个 顶点分割的结果不再满足 Ncut 值最小，因此不会偏向分割单个孤立的顶点。Ncut（ A ，B） 值越低表示相似度高的顶点分配到一个子图中，相似度低的7顶点分配到不同子图中，是一种较理想的评价 分割质量的标准。但由于 Ncut 被证明是 NP-hard 问题，且随着图中节点数目的增加，问题的求解变得异常复 杂。在实际应用中，常把 Ncut 准则转换为矩阵计算的形式，并求解方程的特 征 值和特征向量。通常选择第二个最小特征值所对应的特征向量，它代表了图划分的 最优解，并取一个合适的分裂点，将特征向量离散化为两个值，根据离散化后的值 将图分割为两部分。如需要再细分，可以迭代地调用该算法进行二分。 Ncut 算法 分割结果的特点是可以控制超像素的数量，且形状比较规整和紧凑。