第九讲 模糊模式识别.docx

1、第九讲 模糊模式识别第九讲 模糊模式识别一、 模糊数学的基础知识模糊数学又称为“模糊集理论”，是在康托尔(Georg Cantor)的经典集合理论基础上发展起来的。1、集合及其特征函数：（1）集合： 在经典集合理论中，集合可以用来说明概念，它是具有某种共同属性的事物的全体，即论域E中具有性质P的元素组成的总体称为集合。（2）集合的运算：集合的常用运算包括：交（）、并（）、补（3）特征函数： 对于论域E上的集合A和元素x，如有以下函数： 特征函数表达了元素x对集合A的隶属程度 可以用集合来表达各种概念的精确数学定义和各种事物的性质2、模糊集合（1）概念的模糊性： 许多概念集合具有模糊性，例如：

2、成绩：好、差 身高：高、矮 年龄：年轻、年老 头发：秃、不秃 （2） 隶属度函数： 如果一个集合的特征函数A(x)不是0,1二值取值，而是在闭区间0，1中取值，则A(x)是表示一个对象x隶属于集合A的程度的函数，称为隶属度函数。 隶属度函数一般来源于对概念模糊程度的统计调查和专家经验总结，常见的隶属度函数形式有：a) 三角形： b) 梯形： c) 高斯形：d) 柯西形： 模糊数学的本质模糊数学不是把精确的概念模糊化，而是把模糊的概念精确化、定量化，从而可以用严格的运算方式和严密的逻辑体系来进行处理。隶属度函数用精确的数学方法描述了概念的模糊性。 隶属度和概率的区别尽管隶属度和概率都是用一个01

3、之间的实数来表达，但是二者有本质区别。隶属度表达的是某个命题具有某个概念的程度，这种程度是确定的，不包含任何的随机性，例如“今天天气热的程度是0.8”，表达的是一个确切的气温值，而这个温度值在0.8的程度上可以算作“热”。概率表达的是某个命题具有某个概念的可能性，命题对这个概念的取值仍旧是二值的，“属于”或者“不属于”，只是是否“属于”具有随机性，例如“今天天气热的概率是0.8”，表达的是“热”或者“不热”这两个明确的概念，而“热”的情形发生的概率为0.8。扎德 L. A. Zadeh(1921)美国控制论专家，美国工程科学院院士。现任伯克利加利福尼亚大学电机工程与计算机科学系教授。因发展模糊

4、集理论的先驱性工作而获电气与电子工程师学会(IEEE)的教育勋章。 1965年，扎德在信息与控制杂志第8期上发表模糊集的论文, 开创了以精确数学方法研究模糊概念的模糊数学领域。（3）模糊子集： 设集合A是集合U的一个子集，如对于任意U中的元素x，用隶属度函数A(x)来表示x对A的隶属程度，则称A是U的一个模糊子集，记为：A=A(xi), xi模糊子集也可以看作是论域U到区间0,1上的一个映射，映射规则为A(x)。当U为离散集时，模糊子集可以用下式表示： x1,x2,xn 称为模糊子集A的支持点。当U为连续域时，模糊子集可以表示为： （4）模糊集合的基本运算： 交集： 并集： 补集： 3、模糊集

5、合的水平截集 模糊子集本身没有确定边界，其水平截集有确定边界，并且不再是模糊集合，而是一个确定集合。例：年龄的取值集合为 U=50岁,45岁, 40岁 ,35岁,30岁, 25岁模糊集“年青”可表示为：A=0/ 50岁+0.1 / 45岁 + 0.3/40岁 + 0.5/ 35岁 + 0.9/ 30岁 +1/ 25岁A的不同的水平截集为： =0 ， A0 =50岁，45岁, 40岁 ,35岁,30岁, 25岁 =0.1， A0.1 =45岁, 40岁 ,35岁,30岁, 25岁 =0.2， A0.2 =40岁 ,35岁,30岁, 25岁 =0.3， A0.3 =40岁 ,35岁,30岁, 25

6、岁 =0.5， A0.5 =35岁,30岁, 25岁 =0.7， A0.7 =30岁, 25岁 =0.9， A0.9 =30岁, 25岁 =1 ， A1 =25岁4、模糊关系及模糊矩阵（1）集合的笛卡儿乘积 设Ux,V=y为两个集合，则它们的笛卡儿乘积集为： UV=(x,y)|xU,yV, (x,y)是 U,V元素间的有序对。 (x,y)是一种无约束有顺序的组合， 笛卡尔乘积的运算不满足交换律， 特殊的笛卡尔乘积：Ax，AA(xi,xj)| xi,xj A（2）关系及其表示设Ux,V=y为两个集合， R为笛卡尔乘积UV的一个子集，则称其为UV中的一个关系。 关系R代表了对笛卡尔乘积集合中元素的

7、一种选择约束。关系的表示： 集合表示法：R(x1,y2),(x2,y1),(x3,y3) 描述表示法：R(x,y)| xy 图形表示法：关系图 矩阵表示法：对有限集合上的关系，可以用矩阵表示：例：U张三，李四，王五，V数学，英语，政治则关系R（选课）可表示为：（3）模糊关系 如关系R是UV的一个模糊子集，则称R为UV的一个模糊关系，其隶属度函数为R(x,y) 隶属度函数R(x,y)表示x,y具有关系R的程度 该矩阵称为模糊矩阵例1： x为身高， y为体重；x=（1.4,1.5,1.6,1.7,1.8）（单位m）y = (40,50,60,70,80) （单位kg）模糊关系“合乎标准”表示为：4

8、0506070801.410.80.2001.50.810.80.201.60.20.810.80.21.700.20.810.81.8000.20.81也可记为：例2：样本集X中各样本之间的相似关系可表示为： 模糊矩阵的乘积（合成运算）：；二、 模糊模式识别方法1、最大隶属度识别法（1）形式一： 设 A1, A2,. ,An是U中的n个模糊子集， 且对每一Ai均有隶属度函数i(x) ，x0为U中的任一元素，若有隶属度函数 i(xo) =max1(xo), 2(xo),. n(xo)则 xoAi 若有了隶属度函数 (x)，我们把隶属度函数作为判别函数使用即可。 此法的关键是求隶属度函数 U中的

9、每一个元素，代表了样本的一种取值情况，而Ai代表了不同的类别例：体型判断这一分类问题中，设样本仅有一维特征，为体型指标，分别有6种取值，取值域为U5,10,15,20,25,30 ，三种体型类别用模糊子集可以定义为：“偏胖”0/ 5+0.2 / 10 + 0.4/15 + 0.6/20 + 0.8/25+ 1/30“标准”0.4/ 5+0.6 / 10 + 0.8/15 +1/20 + 0.6/25+ 0.4/30 “偏瘦”1/ 5+0.8 / 10 + 0.6/15 + 0.4/20 + 0.2/25+ 0/30如果某人的体型指标为15,则根据最大隶属度原则，可分到“标准”这一类。（2）形式

10、二： 设 A是U中的1个模糊子集， x1xn为U中的n个元素，若A的隶属度函数中， (xk) =max(x1), (x2),. (xn)则A属于xk对应的类别 U中的每一个元素对应了一个类别 A代表一个样本，其隶属度函数代表了这个样本属于不同类别的程度 此法不仅能得到样本的分类结果，还可以得到样本与各个类间的相似程度排序例：设U为5种空中飞行目标的集合，U直升飞机，大型飞机，战斗机，飞鸟，气球 ，根据对一个飞行物体的运动特征检测，得到其模糊子集表达为：A0.7/直升飞机+0.3 / 大型飞机 + 0.1/ 战斗机 + 0.4/ 飞鸟 + 0.8/ 气球根据最大隶属度原则，可判断该飞行物体为“气

11、球”。2、择近原则识别法（1）贴近度： 贴近度是两个模糊子集间互相靠近的程度，理想的贴近度应当具有以下性质： 贴近度定义很多， 设A，B为U上的两个模糊子集，可以将它们之间的贴近度定义为：（2）择近原则识别法： 设U上有n个模糊子集A1, A2,. ,An及另一模糊子集 B。若贴近度 样本和类都用模糊子集来表示 取值范围U中的每个元素代表了一个特征维度例：某气象台对于当日气象条件的晨练指数预报分为三级，是用模糊集的方式，依据气温、风力、污染程度三个指标来决定的，具体隶属度关系见下表：晨练指数级别对“标准气温”的隶属度对“标准风力”的隶属度对“有污染”的隶属度适宜晨练0.70.90.2可以晨练0

12、.50.60.6不适宜晨练0.40.50.8 某天的气象条件用模糊集合来表达为： B=0.8/标准气温+0.7/标准风力+0.5/有污染请问：该天的晨练指数应该预报为哪一级？解：用a来代表“标准气温”，b代表“标准风力”，c代表“有污染”则该天的气象条件可表示为：B=0.8/a+0.7/b+0.5/c用A1表示“适宜晨练”，A2表示“可以晨练”，A3表示“不适宜晨练”则各晨练指数级别可表示为： A10.7/a+0.9/b+0.2/c A20.5/a+0.6/b+0.6/c A30.4/a+0.5/b+0.8/c分别求B和A1、A2、A3的贴近度B和A2的贴近度最大，根据择近识别原则，BA2该天

13、的晨练指数应该预报为“可以晨练”。3、基于模糊等价关系的聚类方法（1）等价关系 设R是Ux上一个关系，若满足：（a）自反性： (x,x) R（b）对称性： 若(xi，xj) R，则有(xj，xi) R（c）传递性：若(xi，xj) R和(xj，xk) R ，则有(xi，xk) R 则称R是U上一个等价关系。 等价关系定义了“等价”的概念； 当U上有一个等价关系R时，并不是U中所有元素都有等价关系，而是U中的元素可以按等价关系分成若干类。（2）模糊等价关系 设R是Ux上一个模糊关系，若满足：（a）自反性： R(x,x) 1（b）对称性： R (xi，xj)R (xj，xi)（c）传递性： 对于任

14、意xj U，有R (xi，xk) (R (xi，xj) R (xj，xk) 则称R是U上一个模糊等价关系。 模糊等价关系具有传递闭包性：RRR， 不具有传递性的模糊关系称为模糊相似关系，可通过求R2，R4，R8来获得一个逼近模糊等价关系的模糊关系。（3）等价关系定理： 若R是U上的一个模糊等价关系。则对任意阈值(0 1)则水平截集R也是U上的一个等价关系。（4）基于模糊等价关系的聚类 利用等价关系定理，已知样本集X上的模糊等价关系R，则可通过R的不同水平截集得到多种等价类划分，也就实现了样本集在不同隶属度要求下的聚类。例：设X x1、x2、x3、x4、 x5 ，有一个模糊等价关系R为：取0.4

15、，得到水平截集为：，此时所有样本等价，属于一类；取0.5，得到水平截集为：，此时聚成两类，x1,x3,x4, x5 和x2取0.6，得到水平截集为：，此时聚成三类，x1,x3、x4, x5 和x2取0.8，得到水平截集为：，此时聚成四类，x1,x3、x4、x5 和x2取0.4，得到水平截集为：，此时聚成五类，每个样本自成一类4、模糊k-均值聚类在k-均值聚类算法中，每一次迭代的聚类结果可以用k行n列的矩阵U来表示：其中n表示整个样本集中的样本个数，k表示类别数，uij的值表示第j个样本是否属于第i类，属于则uij=1，否则uij=0。k-均值聚类算法的准则函数是误差平方和，即模糊k-均值聚类（

16、FCM，Fussy C-Means）最早由Dunn提出，后由Bezkek于1981年进行了扩展和总结，它推广了精确k-均值聚类（硬聚类，HCM）算法，引入模糊集作为分类结果，得到了非常广泛的应用。如果采用模糊集合的概念，在每次迭代中某个样本不是确定地属于某一个类，而是在不同程度上属于不同的类。此时每个类别均是一个模糊子集，而分类矩阵U可以表示为：其中： uij0,1，是第j个样本对第i类的隶属度； ，表示每个样本属于各类的隶属度之和为1； ，表示每个类别都不为空集。模糊k-均值聚类算法采用类似的误差平方和准则函数，但加入了模糊度的控制权重m1,)： 算法的迭代过程，就是使准则函数Jm能逐步逼近

17、其极值。Jm是一个有约束的准则函数，其约束条件为和。运用拉格朗日乘数法，可化为无约束的准则函数：上式取极值的必要条件是：可解得：对于新的聚类中心，也应当使准则函数取得极值，即：可解得：模糊k-均值聚类的算法流程为：（1） 设定类别数k、模糊度控制权重m和误差限值，随机产生初始分类矩阵U(0)，迭代次数t=0；计算各类的初始聚类中心mi(0)：（2） 按照以下规则计算新的分类矩阵U(t+1) ，获得新的模糊聚类结果：（3） 计算新的聚类中心mi(t+1)：（4） 计算分类误差，若E，则结束迭代；否则t=t+1，返回步骤（2）进行下一次聚类迭代。模糊k-均值聚类最终得到的是一个模糊分类矩阵，如需要得到确定的聚类结果，就要进行去模糊化。可以采用最大隶属度原则讲一个样本分配到隶属度最大的类别中去。在模糊k-均值聚类算法中，模糊度控制权重m表达了对于每次聚类结果的模糊程度的要求，的物理意义是隶属度的语义增强（“非常”的概念）。m的取值对聚类结果的影响有许多研究，目前尚无定论。通常取1.52.5之间比较有效，常取m=2；当m=1时FCM也就退化成了HCM。