第八章目标表达和描述技术.ppt

1、1,数字图像处理,第2页,第8章 目标表达和描述技术,第3页,知识库,图像分析系统的构成,第4页,8.1 概述,第5页,概 述,图像表示分成边界表示（如链码、边界分段等）和区域表示（如四叉树、骨架等）两大类。边界表示关心的是图像中区域的形状特征区域表示则倾向于反映区域的灰度、颜色、纹理等特征的特点,图像表示与描述是图像识别和理解的重要组成部分,第6页,目标：在图像分析应用中人们感兴趣的图像中的某些区域。表达：对目标的表示方法内部表达：反射性质（灰度、颜色、纹理）外部表达：形状描述：抽象的表示目标用一组数量或符号(描述子)来表征图像中被描述物体的某些特征，可以是对图像中各组成部分的性质的描述，也

2、可以是各部分彼此间的关系的描述。边界描述和区域描述关系表达对描述起重要作用，限定了描述的精确性表达侧重于数据结构，描述侧重于区域特征及区域间的关系,8.1 轮廓的链码表达8.2轮廓线段的近似表达8.3边界标记8.4目标的层次表达8.5目标的骨架表达8.6运动表达8.7目标轮廓的傅里叶描述形态学描述,第7页,基于边界的表达,基于区域的表达,第10页,8.1 轮廓的链码表达,第11页,在分割过程中当确定了边界后，边界表达就是基于边界的像素点对目标的表示形式。,(1)链码：对边界的一种重编码表示方法,链码是一种用若干条具有特定长度和方向的线段连接起来表示目标边界的方法。,8.1 轮廓的链码表达,每个

3、线段的长度固定而方向数目取为有限，所以只有边界的起点需用（绝对）坐标表示，其余点都可只用接续方向来代表偏移量。,第12页,选边界上一点(用坐标表示)作为起点，其它点用方向数来表示：,A:6570713243,第13页,链码举例：,4-链码：000033333322222211110011,第14页,链 码,第15页,链码算法：给每一个线段边界一个方向编码。常用有4-链码和8-链码两种编码方法。从起点开始，沿边界编码，至起点被重新碰到，结束一个对象的编码。,第16页,起点问题 对同一边界，如果用不同的边界点作为链码起点，得到的链码是不同的。例如：,以A为起点，链码为：A:10103322,以B为

4、起点，链码为：B:03322101,第17页,链码链码起点归一化把链码看作一个由各方向数构成的自然数。将这些方向数依一个方向循环以使它们所构成的自然数的值最小,第18页,链码问题2：2）由于角度的不同，造成编码的不同改进2：2）通过使用链码的一阶差代替码子本身的方式,第19页,链码链码旋转归一化利用链码的一阶差分来重新构造一个序列（一个表示原链码各段之间方向变化的新序列）这个差分可用相邻两个方向数相减得到,第20页,形状数：值最小(链码)的差分码,形状数 0 3 0 3 3 1 3 3 0 3 0 3 3 1 3 3,第21页,链码问题3：1）链码相当长。2）噪音会产生不必要的链码。改进1：1

5、）加大网格空间。2）依据原始边界与结果的接近程度，来确定新点的位置。,第22页,链码举例：,4-链码：003332221101,4-链码：000033333322222211110011,第23页,链码具有平移不变性，即当边界平移时，其链码不发生改变。如果边界的本身对于旋转和比例修改来说是无变化的，使用链码才是正确的。一般来说这是不可能的，实际应用时还需要改进如果用链码后，对象只要用1)起点坐标，2)周长（边界点数）3)链码，4)对象编号，就可以描述。链码一般用于一幅图像中有多个对象的情况，对单个对象不适用。,链码-应用背景：,第24页,8.2 轮廓线段的近似表达,第25页,实际中的数字轮廓常

6、由于噪声、采样等的影响而有许多较小的不规则处。这些不规则处常对用链妈进行的轮廓表达产生较明显的干扰影响。一种抗干扰性能更好，且更节省表达所需数据量的方法是用多边形近似逼近轮廓。实际中多边形表达的目的常是要用尽可能少的线段来代表轮廓并保持轮廓的基本形状。常用的多边形表达方法有3种：（1）基于收缩的最小周长多边形法（2）基于聚合的最小均方误差线段逼近法（3）基于分裂的最小均方误差线段逼近法,第26页,1、最小周长多边形,第27页,P225 例8.2.1 基于收缩的最小周长多边形,第28页,2、聚合逼近多边形沿轮廓依次连接像素。先选1个轮廓点为起点，用直线依次连接该点与相邻的轮廓点。分别计算各直线与

7、轮廓的（逼近）拟合误差，把误差超过某个限度前的线段确定为多边形的1条边并将误差置零。然后以线段另一端点为起点继续连接轮廓点，直至绕轮廓1周。这样就得到1个轮廓的近似多边形。,先从点a出发，依次做直线ab，ac，ad，ae等。对从ac开始的每条线段计算前一边界点与线段的距离作为拟合误差,第29页,P225 例8.2.2 先从点a出发，依次做直线ab，ac，ad，ae等。对从ac开始的每条线段计算前一边界点与线段的距离作为拟合误差,第30页,3、分裂逼近多边形先连接轮廓上相距最远的2个像素（把轮廓分成两部分），然后根据一定准则进一步分解轮廓，构成多边形逼近轮廓，直到拟合误差满足一定限度。P225

8、例8.2.3,P226 例8.2.4,8.3 边界标记,第31页,第13章,边界标记产生边界标记的方法很多，基本思想都是借助不同的投影技术把2-D的边界用1-D的较易描述的函数形式来表达可把2-D形状描述的问题转化为对1-D波形进行分析的问题投影并不是一种能保持信息的变换，将2-D平面上的区域边界变换为1-D的曲线是有可能丢失信息的,第13章,边界标记1、距离为角度的函数先对给定的目标求出重心，然后做出边界点与重心的距离为角度的函数这种标记不受目标平移影响，但会随目标旋转或放缩而变化,第34页,第13章,边界标记2、-s曲线沿边界围绕目标一周，在每个位置作出该点切线，该切线与一个参考方向（如横

9、轴）之间的角度值就给出一种标记,3、斜率密度函数斜率密度函数可看做将-s曲线沿轴投影的结果。P228 图8.3.3,第36页,4、距离为弧长的函数基于边界的标记可通过从一个点开始沿边界围绕目标逐渐做出来。如果将各个边界点与目标重心的距离作为边界点序列的函数就得到一种标记。P228 图8.3.4,第37页,8.4 目标的层次表达,第38页,目标可以看做是所有组成目标区域像素的集合，从集合的观点来看，集合可分解为子集合，每个子集合又可继续分解，直至每个元素。目标的层次表达就是根据这种思路，利用金字塔式的数据结构来表达目标的方法。四叉树二叉树,第39页,四叉树表达法在分解时每次将图像一分为四。当图像

10、是方形的，且像素个数是2的整数次幂时四叉树法最适用。,第40页,第13章,1、四叉树所有的结点可分成3类：目标结点（用白色表示）；背景结点（用深色表示）；混合结点（用浅色表示）树根对应整幅图，而树叶对应各单个像素或具有相同特性的像素组成的方阵,第42页,第12章 目标表达与描述,(2)四叉树：适用于对方形图像采用分裂与合并方法进行分割的情况,原始图像,一次分裂,E,白色表示目标,黑色表示背景,蓝色表示背景混合,二次分裂,D,2、二叉树二叉树表达法在分解时每次将图像一分为二。二叉树可以看做是四叉树的一种变形。P231 图8.4.2,第43页,8.1 轮廓的链码表达8.2轮廓线段的近似表达8.3边

11、界标记8.4目标的层次表达8.5目标的骨架表达形态学描述8.6运动表达8.7目标轮廓的傅里叶描述,第45页,理解,8.5 目标的骨架表达,第46页,8.5目标的骨架表达,1、骨架和骨架点一种简化的目标区域表达方法,第48页,骨 架,中轴变换是一种用来确定物体骨架的细化技术。（草场火技术）,中轴变换方法（MAT）具有轮廓B的区域R的MAT是如下确定的。对每个R中的点P，在B中搜寻与它最近的点。如果对P能找到多于1个这样的点（即有2个或以上的B中的点与P同时最近），就可以认为P属于R的中线或骨架，或者说P是1个骨架点。,第13章,骨架骨架可用一个区域点与一个点集的最小距离来定义 每个骨架点都保持了

12、其与边界点距离最小的性质，所以如果用以每个骨架点为中心的圆的集合，就可恢复出原始的区域来,第13章,2、二值目标区域骨架算法（目标标为1，背景标为0）考虑以轮廓点为中心的8-邻域，记中心点为p1(1.1)2 N(p1)6(1.2)S(p1)=1(1.3)p2.p4.p6=0(2.3)p2.p4.p8=0(1.4)p4.p6.p8=0(2.4)p2.p6.p8=0,对所有轮廓点都检查完毕后，将所有标记了的点都除去。,第51页,第12章 目标表达与描述,例子：,步骤(1)作标记,第52页,第12章 目标表达与描述,删除步骤(1)作标记的点,步骤(2)作标记,第53页,第12章 目标表达与描述,删除

13、步骤(2)作标记的点,第55页,P233 例8.5.2,第56页,形态学描述,第57页,基本概念,基本思想是用一个结构元素（Structure element）作为基本工具去探测和提取图像特征，看这个结构元素是否能够适当有效的放入图像内部。,数学形态学以几何学为基础对图像进行分析,第58页,基本概念,数学形态学的基本运算膨胀（dilation）腐蚀（erosion）开启（opening）闭合（closing）,第59页,膨胀和腐蚀,图10.21 B对A的膨胀运算过程,膨胀,第60页,第61页,膨胀和腐蚀,腐蚀,图7.23 集合对集合的腐蚀运算过程,第62页,第63页,（a）,（b）,图b为结构

14、元素，对目标进行膨胀和腐蚀（0为背景）,第65页,开启和闭合,第66页,第67页,8.6 运动表达,第68页,1、运动分类局部运动（前景运动）：指目标在场景中的自身运动全局运动（背景运动、摄像机运动）：由进行拍摄的摄像机的运动所造成的帧图像内所有点的整体移动,全局运动由摄像机的运动而产生,8.6运动表达,全局运动常采用参数模型的方法来描述6参数仿射模型运动矢量场表示,8.6运动表达,局部运动常对应场景中目标的运动比较复杂多样，可采用紧凑表达方式,8.6运动表达,第72页,8.7 目标轮廓的傅里叶描述,第73页,第12章 目标表达与描述,傅立叶形状描述子:描述闭合边界的一种方法，且仅适用于单闭合

15、曲线,具体的做法：假定某目标物的区域边界由Q个像素组成，把这个区域看成是在复平面内，每个点可定义一个复数。从边界上任一点开始，按逆时针方向沿线逐点写出一个复数序列f(i)，对此序列进行离散傅立叶变换，可得该边界在频域的表示F(w)。这些傅立叶系数称为边界的傅立叶描述子。从这些傅立叶系数中可知边界变化的剧烈程度。在目标描述和识别中通常只使用F(w)的幅值。,8.7目标轮廓的傅里叶描述,轮廓的傅里叶描述 将2-D的问题简化为1-D的问题 两种表示：在空间平面XY上在复平面UV上,8.7目标轮廓的傅里叶描述,轮廓的傅里叶描述 轮廓傅里叶描述的傅里叶反变换 只利用S(w)的前M个系数 为重建轮廓点所用

16、的频率项少了,第76页,傅里叶描述子,（a）字母H（b）边界图,（c）全部傅立叶（d）采用225项,第77页,傅里叶描述子,（e）采用45项（f）采用27项（g）采用18项（h）采用9项,已知用复数u+jv的形式表示一个图形边界上的各个点（x,y）所得到的复数序列为：s(0)=0,s(1)=1,s(2)=2,s(3)=2+j,s(4)=2+2j,s(5)=1+2j,s(6)=2j,s(7)=j,则该复数序列表示的图形是什么形状？,小 结,目标表达和描述的区别和联系边界的表达方法链码；多边形逼近区域的表达方法空间占用数组；四叉树和骨架等边界的描述方法简单边界描述符；矩和傅立叶形状描述子等区域的描述方法简单、形状、拓扑区域描述符；矩；纹理描述符,