第7章 图象分割与区域提取.docx

第7章 图象分割与区域提取.docx

《第7章 图象分割与区域提取.docx》由会员分享，可在线阅读，更多相关《第7章 图象分割与区域提取.docx（25页珍藏版）》请在冰豆网上搜索。

第7章图象分割与区域提取

第7章图象分割与区域提取

图像分割就是将图像中不同性质的区域分开，将相同性质且相邻的像素分在同一区域，以便提取感兴趣的目标区域，识别图像的背景和主体，分析其颜色、纹理、形状、位置、大小等特征。

如果把图像看成是像素的集合，则图像分割可用数学方法做如下定义：

令集合R代表整个图像区域，对R的分割可看作将R分成若干个满足以下5个条件的非空的子集（子区域）R1,R2,…,Rn：

（1）

；

（2）对所有的i和j，

，有

；

（3）对i=1,2,…,n，有P（Ri）=TRUE；

（4）对

，有

；

（5）对i=1,2,…,n，Ri是连通的区域。

其中P（Ri）是对所有在集合Ri中元素的逻辑谓词，

是空集。

图像分割所依据的像素的性质可以是多方面的，如颜色（灰度）、纹理、位置、变换等方面的性质。

在人们识别图像中的物体时，对图像的区域分割和物体的形状判断，综合利用了像素的各种性质、物体形状的先验知识和逻辑推理等，包括分析像素的颜色和邻域位置关系，检测与判断物体的边缘，利用形状模板对边缘轮廓连接，物体的结构、组成和空间关系等。

人类复杂的心理活动计算机很难模拟，因此图像分割一直是图像处理、图像分析和计算机视觉等领域经典的研究难题之一。

目前，图像分割的方法主要有三类：

基于边缘的图像分割、基于像素聚类的图像分割和基于区域的图像分割。

基于边缘的分割是利用对象与背景的明显边缘来提取对象的边缘轮廓，由闭合边缘线围成的区域就是对象的轮廓区域。

基于边缘的分割方法有微分算子、边缘拟合、边界跟踪等，比较适合于分割边缘明显的图像，如卡通图、图形等。

这类方法定位准确，但对噪声敏感，提取的边缘线常常不能闭合。

基于像素聚类的分割是利用图像中像素的共性（如颜色、邻域内的纹理特性、分形维数等）进行聚类，形成具有形似性质的像素聚类区域。

同一对象的像素应该聚类为同一区域，从而实现对象的区域分割。

这类方法应该是图像区域分割的理想方法，但实现的困难在于如何选择像素的性质，有时难以对对象的像素性质进行抽象和描述。

目前用于聚类的像素性质主要有像素的颜色、邻域内的纹理、分形维数等，像素聚类的方法主要有阈值法、K-均值法、ISODATA聚类法、基于模糊C-均值聚类的彩色图像分割等。

基于区域的图像分割是对图像中性质上相似、空间上相连的像素聚合形成分离的区域，也是一种像素聚类过程。

常用的方法有区域生长法、分裂合并法和松弛迭代法等。

这类方法的难点也是在于确定像素聚类的规则和起始、终止条件，比较适用于颜色缓慢变化的大面积区域分割，如电脑生成的颜色渐变区域分割、自然界中的蓝天白云分割等。

此外，还有基于模型的图像分割，如基于Snake模型的图像分割、基于组合优化模型的图像分割、基于目标模型的图像分割和基于Markov随机场的图像分割等。

像分割是图象分析与识别的基础，是图像处理与计算机视觉等研究领域的经典难题之一。

目前还没有一种完善的分割方法，对于广泛领域的图像可以按照人们的意愿准确地分割，而且分割结果的好坏或正确与否，也没有统一的评价标准，主要从主观感觉或实际应用的效果来判断。

7.1基于边缘的图象分割

边缘是图像中颜色或灰度变化较大的像素点形成的边线，可能是物体或物体不同部位的边界，也可能是光照不连续造成的边线。

物体或物体的不同部位的边界应该能够通过边缘检测找到，从而在图象中确定物体或物体的不同部位的边界。

因此，边缘检测是图象中边界检测的直接而有效的方法。

7.1.1边缘检测

颜色

色差

图像中的边沿可利用像素与领域的颜色或亮度差检测，如图7-1。

灰度图象的边缘常用一阶和二阶导数检测，但导数对噪声太灵敏，因而发明了多种边缘检测算子，如Roberts算子、Prewitt算子、Sobel算子、Laplacian算子、Marr算子、Canny算子等，其摸板和效果如图7-2。

彩色图象的颜色差可以用下式计算：

（1）RGB颜色模式

颜色差用颜色间的距离表示:

Euclidean距离：

d=sqrt（（R1-R2）^2+（G1-G2）^2+（B1-B2）^2）^2;

Manhattan（City-Block）距离:

d=|R1-R2|+|G1-G2|+|B1-B2|;

颜色差用颜色间的角度差表示:

角度差:

θ=acos（（R1R2+G1G2+B1B2）/（sqrt（R1^2+G1^2+B1^2）*sqrt（R2^2+G2^2+B2^2））

（2）HSI颜色模式

颜色差用颜色间的距离表示:

Euclidean距离：

d=sqrt（（I2-I1）2+S12+S22-2*S1*S2*cos（H2-H1））

Manhattan（City-Block）距离:

d=α*|I1-I2|+β*|S1-S2|+γ*|H1-H2|，其中α、β、γ是权重。

边沿检测可以用下式计算：

（1）梯度算子

d=sqrt（dx2+dy2）/

（2）邻域计算

d=max（dx,dy,du,dd）

7.1.2边缘二值化

利用边缘检测算子得到的边缘图象是灰度图象，仍然需要将其转换为黑白边界图象，实际上是将灰度图象转换成二值图象，可以采用阈值法和极大值法，如图7-3。

1986年Canny提出的最优阶梯型边沿检测算法（Canny算子）既完成边缘检测，有同时实现边缘二值化。

彩色图像的边沿二值化示例如图7-4。

灰度图

原图

边沿二值图

边沿灰度图

图7-4彩色图像的边沿二值化示例

7.1.3边界跟踪和图搜索

边界跟踪（boundarytracking）由一个边缘点出发，依次搜索并连接相邻边缘点从而逐步检测出边界。

一般来说边界跟踪包括三个步骤：

（1）确定作为搜索起点的边缘点；

（2）确定和采取一种合适的数据结构和搜索机理，在已发现的边界点基础上确定新的边界点；

（3）确定搜索终结的准则或终止条件，并在满足条件时停止进程，结束搜索。

一个简单的情况如下。

给定一幅只有一个目标的图象，先计算出其梯度图。

从梯度图中选出梯度最大的点作为边界跟踪的第一个起点，然后在第一个起点的8-邻域中选梯度最大的点作为第二个边界点。

设采用逆时针方向搜索，目标在边界跟踪方向的左方。

以已经确定的两个边界点分别作为当前边界点C和前一个边界点P，每次在以当前边界点C为中心的33邻域中选取下一个边界点。

根据点C和点P位置的不同，可得到如下图所示的八种组合。

图搜索是借助动态规划过程寻求全局最优化的一种全局边界跟踪方法。

具体是将边界点和边界段用图（graph）结构表示，通过在图中进行搜索对应最小代价的通道来寻找闭合边界。

1个图可表示为G={N,A}，其中N是1个有限非空的结点集，A是1个无序结点对的集。

集A中的每个结点对（ni,nj）称为1段弧（niN，njN）。

当弧是从结点ni指向nj时，那么称nj是父结点ni的子结点。

有时父结点也叫祖先，子结点也叫后裔。

确定1个结点的各个子结点的过程称为对该结点的展开或扩展。

对任1段弧（ni,nj）都可定义1个代价（或费用），记为c（ni,nj）。

如果有一系列结点n1,n2,…,nK，其中每个结点ni都是结点ni-1的子结点，则这个结点系列称为从n1到nK的1条通路（路径）。

这条通路的总代价为：

我们定义边缘元素是2个互为4-近邻的象素间的边界。

下左图给出图象中1个区域，其中括号内的数字代表各象素的亮度值。

现设每个由象素p和q确定的边缘元素对应1个代价函数：

其中H为图象中的最大亮度值，f（p）和f（q）为象素p和q的亮度值。

根据这个代价函数，利用图搜索技术从上向下可检测出如下右图所示的对应大梯度的边界段。

7.2基于像素聚类的图象分割

7.2.1灰度图象阈值分割

取阈值是最常见的并行的直接检测区域的分割方法。

假设图象由具有单峰灰度分布的目标和背景组成，在目标或背景内部的相邻象素间的灰度值是高度相关的，但在目标和背景交界处两边的象素在灰度值上有很大的差别。

如果1幅图象满足这些条件，它的灰度直方图基本上可看作是由分别对应目标和背景的2个单峰直方图混合而成。

此时如果这2个分布大小（数量）接近且均值相距足够远，而且均方差也足够小，则直方图应是双峰的。

对这类图象常可用取阈值方法来较好地分割。

最简单的利用取阈值方法来分割灰度图象的步骤如下。

首先对1幅灰度取值在gmin和gmax之间的图象确定一个灰度阈值T（gmin

象素的灰度值大于阈值的为1类，象素的灰度值小于阈值的为另1类。

这2类象素一般对应图象中的2类区域。

取单阈值分割后的图象可定义为：

例单阈值分割示例

下图给出单阈值分割的1个示例。

左图代表1幅含有多个不同灰度值区域的图象；中图代表它的直方图；右图代表分割的结果，大于阈值的象素以白色显示，小于阈值的象素以黑色显示。

1.极小值点阈值

如果将直方图的包络看作1条曲线，则选取直方图的谷可借助求曲线极小值的方法。

设用h（z）代表直方图，那么极小值点应满足：

和这些极小值点对应的灰度值就可用作分割阈值。

2.最优阈值

设1幅混有加性高斯噪声的图象的混合概率密度是：

其中1和2分别是背景和目标区域的平均灰度值，1和2分别是关于均值的均方差，P1和P2分别是背景和目标区域灰度值的先验概率。

参见下图，假设1<2，我们定义一个阈值T。

这时错误地将一个目标象素划分为背景的概率和将1个背景象素错误地划分为目标的概率分别是：

7.2.2基于颜色聚类的图象分割

基于像素聚类的图像分割是将图像的像素集合转换成像素的特征集合，形成像素特征空间，然后在像素特征空间中对像素聚类，将聚类后的像素映射回原图像，形成对原图像的自然分割。

因此，基于像素聚类的图像分割过程包括：

①选择用于聚类的像素特征,计算图像中每个像素的特征值；②根据像素特征值的分布和聚类规则，在像素特征空间中对像素聚类；③用聚类的标准特征值或聚类中心的特征值替代聚类中每个像素的特征值，或在图像中对像素的位置做出标记；④根据图像中每个像素新的特征值或做出的标记，实现对图像的分割。

用于像素聚类的特征有很多，如像素的颜色、亮度、梯度，邻域内的纹理、分形维数、小波变换系数等。

像素聚类的方法和规则也有很多，如阈值法、K-均值聚类法、ISODATA聚类法、模糊C-均值聚类法等。

本文选择像素颜色作为聚类特征，利用极大值法对图像中的像素颜色聚类（同时提取图像主色调），用聚类颜色（对应图像主色调）替代图像中像素的颜色，实现基于颜色聚类的图像区域分割。

图7-4示出颜色聚类后利用边缘分割图像的效果，其中（a）为原图像，（b）为颜色聚类图像。

7.2.3基于纹理的图象分割

直观来说纹理描述可提供区域的平滑、稀疏、规则性等特性。

利用Gabor小波变换实现纹理分割。

7.3基于区域的图象分割

串行区域分割中常利用图象多分辨率的表达结构，如金字塔结构。

基于区域的串行分割技术有两种基本形式，一种是从单个象素出发，逐渐合并以形成所需的分割区域，称为区域生长。

另一种是从全图出发，逐渐分裂切割至所需的分割区域。

区域生长的基本思想是将具有相似性质的象素集合起来构成区域。

具体先对每个需要分割的区域找一个种子象素作为生长的起点，然后将种子象素周围邻域中与种子象素有相同或相似性质的象素（根据某种事先确定的生长或相似准则来判定）合并到种子象素所在的区域中。

将这些新象素当做新的种子象素继续进行上面的过程，直到再没有满足条件的象素可被包括进来。

这样一个区域就长成了。

区域生长的一个关键是选择合适的生长或相似准则，基于区域灰度差的方法主要有如下步骤：

（1）对图象进行逐行扫描，找出尚没有归属的象素；

（2）以该象素为中心检查它的邻域象素，如果灰度差小于预先确定的阈值，将它们合并；

（3）以新合并的象素为中心，返回到步骤

（2），检查新象素的邻域，直到区域不能进一步扩张；

（4）返回到步骤

（1），继续扫描直到不能发现没有归属的象素，则结束整个生长过程。

例区域生长示例

下图给出已知种子点进行区域生长的一个示例。

第1图给出需分割的图象，设已知有两个种子象素（标为深浅不同的灰色方块），现要进行区域生长。

设这里采用的生长判断准则是：

如果所考虑的象素与种子象素灰度值差的绝对值小于某个门限T，则将该象素包括进种子象素所在区域。

那么第2图给出T=3时的区域生长结果，整幅图被较好地分成2个区域；第3图给出T=1时的区域生长结果，有些象素无法判定；第4图给出T=6时的区域生长结果，整幅图都被分在一个区域中了。

1

0

4

7

5

1

1

5

5

5

1

1

5

7

5

1

1

1

1

1

1

0

4

7

7

1

1

5

5

5

1

1

5

7

7

1

1

1

1

1

0

1

5

5

5

1

1

5

5

5

1

1

5

5

5

1

1

1

1

1

2

0

5

6

5

1

1

5

5

5

2

1

5

5

5

1

1

1

1

1

2

2

5

6

4

1

1

5

5

5

2

2

5

5

5

1

1

1

1

1

7.4边界修整

7.4.1集合和集合运算

具有相同性质的事物的全体称为集合。

集合中的具体事物（对象）称作元素。

集合中元素的数目，称作集合的基数或者势，通常记作#S或者|S|。

①常见的集合

有穷集合：

Im：

1和m之间的正整数集合，包括有1和m，m>=1,即{1,2...,m}；Nm:

0和m-1之间的非负整数集合,其中包括有0和m-1,m>=0即{0,1,2,...,m-1}。

无穷集合：

N:

自然数集合或非负整数集合{0,1,2,...}；I+:

正整数集合{1,2,3,...}；I:

整数集合{0,1,-1,2,-2...}；P:

素数集合；Q:

有理数集合；R:

实数集合；C:

复数集合。

②集合间的关系

相等:

给定两个集合A和B，当且仅当A的每一个元素都是B的一个元素，B的每一个元素也都是A的一个元素，A和B才是相等的，并记作A=B，否则，称集合A和B是不相等的，并记作AB。

包含:

设A和B是任意的集合。

如果集合A的每一个元素，都是集合B的一个元素，则称A是B的子集。

或者A被包含于B中，或说B包含A。

记作AB。

另外，如果集合B不包含集合A，则把它表示成AB。

真包含:

设A和B是两个任意集合。

如果A是B的子集且AB,则称A是B的真子集，并记作AB,也称为B真包含A。

③集合的运算

交:

任何两个集合A和B的交集A∩B，是由集合A和B所共有的全部元素构成的集合。

并可规定成集合的相交运算。

不相交:

设A和B是两个集合。

如果有A∩B=

，亦即A和B没有共有的元素，则称A和B是不相交的。

并:

设A和B是任意两个集合，A和B的并集A∪B，乃是由那些或属于A或属于B或同时属于二者的所有元素构成的集合。

差分:

给定全集E的两个子集A和B，对A和B进行差分运算之后，会生成一个新的集合A-B，称为B对A的相对补集。

相对补集:

设A和B是任何两个集合，B对A的相对补集A-B，是由属于A的但不属于集合B的所有元素构成的集合。

求补:

给定全集E，对于任何集合A来说，A对E的相对补集，称为A的绝对补集，或简称为A的补集。

并记作AC。

对于E和A所进行的差分运算，通常称为求补。

对称差分:

设A和B是任何两个集合，A和B的对称差分是集合A+B，集合A+B是由或属于A或属于B，但不同时属于A和B的那些元素构成。

对集合A和B的这种运算+，称为对称差分。

④序偶

序偶（二重序元）:

由两个给定次序的客体x和y所组成的序列，称为一个序偶，并记作。

序偶相等:

给定两个序偶序偶和，当且仅当x=a和y=b时，序偶和相等，亦即：

（=）（（x=a）（y=b））

⑤笛卡儿乘积

给定任何两个集合A和B。

如果序偶的第一个成员是A的一个元素，第二个成员是B的一个元素，则所有这样的序偶的集合，称为集合A和B的笛卡儿乘积，并记作A

B，亦即：

A

B={|（x

A）（y

B）}

由定义可以看出，集合A和B的笛卡儿乘积仍是一个集合，这个集合的元素都是序偶，这些序偶的第一个成员取自集合A，第二个成员取自集合B。

7.4.2二值图象的形态学运算

对象（Object）X；结构元素（StructureElement）：

B

关系：

包含于includein击中hit击不中miss

平移

对称集

①腐蚀（Erosion）:

bB

定义：

={x|（x+b）A,bB}=∩（A）-b

示例如图：

②膨胀（Dilation）:

bB

定义：

={x|x=a+b,aA,bB}=∪（A）b

示例如图：

③开（open）：

示例如图：

④闭（close）：

示例如图：

开和闭运算都可以去除比结构元素小的特定图像的细节，并保证不产生图像全局的几何失真。

开运算可以将比结构元素小的突刺滤掉，切断细线连接而起分离目标对象的作用。

闭运算可以将比结构元素小的缺口或小孔填充上，搭接短的间断而起连通目标对象的作用。

开和闭运算的例子：

利用开和闭运算消除噪声的例子：

练习1：

将下图变换成矩形。

练习2：

将下图中小圈滤除。

 7.5目标区域提取

目前还没有通用的完美的图像分割和评价方法，每种方法都有其优点和局限性。

基于边缘的图像分割和利用颜色聚类实现的图像分割得到不完全相同的分割结果。

实验发现，与人工分割相比，两种分割方法都有过分割和欠分割现象，而且区域边缘不一定重合，很难说哪种方式更合适，往往一种方式对某些图像分割效果较好，但对另一些图像却不然。

1．基于边缘的图像分割

基于边缘的图像分割，首先检测图像中物体的边缘，然后利用各种方法消除不需要的边缘，连接断开的边缘，最后根据封闭的边缘线所围成的区域分割图像。

本文利用像素邻域间的颜色距离检测边缘，具体方法如下：

（1）计算图像中每个像素与水平、垂直、右下、右上四个方向的邻近像素的颜色距离，取它们的最大值作为图像的边缘值，即：

其中，

，i=1,2,3,4。

（xi,yi）为（x,y）的4个邻近点。

（2）采用与Canny算子相似方法，对非边缘点抑制，在X、Y方向分别扫描寻找极大值点，将灰度值大于V1（本文取0.2）的极大值点设置为1，其余点设置为0，形成二值边缘图像，设为B1。

（3）二值边缘图像B中可能存在两个问题：

边缘线断开和边缘噪声（杂乱的边缘）。

本文采用数学形态学（MathematicalMorphology）中的闭运算进行边缘连接和融合，采用开运算消除杂乱边缘。

具体步骤如下：

①用r1r1（r1根据图像的短边确定，本文取图像短边的0.02倍）的正方形为结构元素对B做闭运算，融合密集边缘，形成的二值图像记为B2；②从B2中提取N1（本文取5）条最长的边缘线或边界线最长的边缘融合区域，形成的二值图像记为B2；③用r2r2（r2取图像短边的0.01倍）的正方形为结构元素对B3做开运算，消除稀疏边缘线和孤立边缘点，形成的二值图像记为B4；④将从B2中提取的N1条最长的边缘线或边界线最长的边缘融合区域和图像四边（图像四边看成特殊的边缘线）与B4合并，形成的二值图像记为B5。

（４）按照最短加权距离的原则对所有边缘线的端点进行连接。

加权距离按下式计算：

其中，d是端点到邻近边缘线点的距离，θ是端点到邻近边缘线点的连线与端点处边缘线切线的夹角。

边缘线断点的连接范围为d'<15。

连接边缘线断点后形成的二值图像记为B6。

（５）对B6的边缘融合区域提取轮廓，形成的二值图像记为B7。

（６）对B7中所有的连通区域按面积由大到小排列，提取N2（本文取5）个面积最大的区域，当某个区域的面积小于前一区域面积的5%时，不再提取此区域和面积更小的区域。

（7）用r2r2的正方形为结构元素对提取的区域分别进行开运算，分离细线连接的区域，然后从这些分离的区域中提取N2个面积最大的区域，再合并作为图像分割的结果，记为B8，对图１（a）所示的图像分割结果如图１（b）。

可以看出，B8由N2个面积最大的区域和剩余区域组成，剩余区域包括图像边缘线和没有提取的面积较小的封闭边缘线围成的区域。

2.基于颜色聚类的图像分割

颜色是彩色图像的重要特征，通过颜色聚类可以实现对图像的分割。

本文采用三维直方图极大值法对颜色聚类。

首先利用改进的HSI模型，将H均匀量化18份，S均匀量化5份，I均匀量化10份（共611种有效颜色），计算区域内像素的颜色直方图Hist（h,s,i）。

提取Hist（h,s,i）的前N3（本文取8）个极大值（而非最大值），当某个极大值小于前一个极大值的10%时，不再提取此极大值和更小的极大值。

提取N3个极大值对应的颜色作为图像的主色调，用图像的主色调量化图像中每个像素的颜色，形成N3种颜色的图像。

利用基于边缘的图像分割方法，将颜色聚类后的图像分割，如图7-9。

3.两种分割结果整合与主体区域提取

综合两种方式的分割结果，分割的区域包括三种情况：

闭合边缘线围成的区域、相似颜色的像素聚类区域和密集边缘融合形成的区域。

将两种分割结果整合的思路有两种，一种是希望分割尽量细，分割的区域小而多；另一种是希望分割尽量粗，分割的区域大而少。

本文的研究背景是基于对象的图像检索，分割的区域不希望太多，因而采用第二种思路对两种分割结果整合，并从中提出面积最大的区域作为图像背景和前景（我们根据区域内边缘的平均模糊度区分背景和前景），具体步骤如下：

（１）在两种方式的分割结果中分别提取N2个面积最大的区域，按大小排列，记

，其中i=1，…,2N2；

（２）设

，

。

（3）如果

，则

。

表示面积；

（4）i=i+1，如果i≤2N2，重复3；

（5）从

中提取N2个面积最大的区域作为图像的主体区域。

综合两种分割结果提取的主体区域轮廓与Berkeley[8]人工标注的图像分割效果如图7-10。

可以看出，与人工分割具有较好的视觉一致性。

提取的图像主体边界虽然有些交错，不符合图像分割的严格定义，但符合人们对图像中物体（主体区域）的模糊界定。

事实上，人们对图像中物体边