模式识别第二章(线性判别函数法).ppt

1、第二章 线性判别函数2022/11/7模式识别导论2实例：统计模式识别19名男女同学进行体检，测量了身高和体重，但事后发现其中有4人忘记填写性别，试问（在最小错误的条件下）这4人是男是女？体检数值如下：2022/11/7模式识别导论3实例：统计模式识别（续）待识别的模式：性别（男或女）测量的特征：身高和体重训练样本：15名已知性别的样本特征目标：希望借助于训练样本的特征建立判别函数（即数学模型）2022/11/7模式识别导论4实例：统计模式识别（续）从图中训练样本的分布情况，找出男、女两类特征各自的聚类特点，从而求取一个判别函数（直线或曲线）。只要给出待分类的模式特征的数值，看它在特征平面上落

2、在判别函数的哪一侧，就可以判别是男还是女了。2022/11/7模式识别导论5有关模式识别的3个问题学习人们在日常生活中几乎时时刻刻在进行模式识别的活动，从小时候起就开始学习与增强这种能力。如小孩学习认字、认识事物都有一个从不会到会的过程。确定分类决策的具体数学公式是通过分类器设计这个过程确定的。在模式识别学科中一般把这个过程称为训练与学习的过程。一般来说，决定使用什么类型的分类函数往往是人为决定的。但数学式子中的参数则往往通过学习来确定 2022/11/7模式识别导论6有关模式识别的3个问题模式的紧致性分类器设计难易程度与模式在特征空间的分布方式有密切关系，例如图(a)、(b)与(c)分别表示

3、了两类在空间分布的三种状况。两类事物分布的区域不要有相互混迭的情况，事物尽管没有混迭，但交界线很复杂。2022/11/7模式识别导论71有关模式识别的3个问题相似性度量同类物体之所以属于同一类，在于它们的某些属性相似，因此可选择适当的度量方法检测出它们之间的相似性。在特征空间中用特征向量描述样本的属性，用距离来表示相似性度量。合适的特征空间情况下，同类样本应具有聚类性，或紧致性好，而不同类别样本应在特征空间中显示出具有较大的距离。2022/11/7模式识别导论84.1 引言分类器设计方法，是根据训练样本集提供的信息，直接进行分类器设计。这种方法省去了统计分布状况分析，直接对特征空间进行划分，也

4、是当前的主要方法之一。2022/11/7模式识别导论92.1 引言决策域的分界面是用数学表达式来描述的，如线性函数和各种非线性函数等，所以分界面的方程主要包括函数类型选择与最佳参数确定。一般来说，函数类型由设计者选择，其参数的确定则是依据一定的准则函数，通过一个学习过程来实现优化。2022/11/7模式识别导论102.1 引言将模式识别的设计过程，主要是判别函数、决策面方程的确定过程改成 2022/11/7模式识别导论112.1 引言线性分类器以及作为设计依据的一些准则函数，准则函数包括：感知准则，最小平方误差准则，最小错分样本数准则，Fisher准则。2022/11/7模式识别导论122.2

5、.1 线性判别函数的基本概念 在一个d维的特征空间中，线性判别函数的一般表达式如下2022/11/7模式识别导论132.2.1 线性判别函数的基本概念如果采用增广模式，可以表达如下若分属于1，2的两类模式可用一方程d(X)=0来划分，那么称d(X)为判别函数，或称判决函数、决策函数。2.1 判别函数判别函数(discriminant function)直接用来对模式进行分类的准则函数。例：一个二维的两类判别问题，模式分布如图示，这些分属于1，2两类的模式可用一直线方程 d(X)=0来划分。为坐标变量，为方程参数。式中：图3.2 两类二维模式的分布1判别函数的定义判别函数的定义若 ，则若 ，则

6、类；若 ，则 类；或拒绝将某一未知模式 X 代入：维数=3时：判别边界为一平面。维数3时：判别边界为一超平面。d(X)表示的是一种分类的标准，它可以是1、2、3维的，也可以是更高维的。判别界面的正负侧，是在训练判别函数的权值时确定的。2判别函数正负值的确定判别函数正负值的确定图3.3 判别函数正负的确定1）判决函数d(X)的几何性质。它可以是线性的或非线性的函 数，维数在特征提取时已经确定。如：已知三维线性分类 判决函数的性质就确定了判决函数 的形式：3.确定判别函数的两个因素确定判别函数的两个因素例：非线性判决函数2）判决函数d(X)的系数。用所给的模式样本确定。181920多类问题图例多类

7、问题图例（第一种情况）（第一种情况）?不确定区域211 1、第一种情况（续）第一种情况（续）判别规则为：判别规则为：如果如果 则判则判 比如对图的三类问题比如对图的三类问题,如果对于任一模式如果对于任一模式 如如果它的果它的 则该模式属于则该模式属于1 1类。类。221 1、第一种情况（续）第一种情况（续）如果某个如果某个X X使二个以上的判别函数使二个以上的判别函数 d di i00 。则此。则此模式模式X X就无法作出确切的判决。如图就无法作出确切的判决。如图另一种情况是另一种情况是IR2IR2区域，区域，判别函数都为负值。判别函数都为负值。IR1IR1，IR2IR2，IR3IR3，IR4

8、IR4。都为。都为不确定区域。不确定区域。231 1、第一种情况（续）第一种情况（续）解：解：三个判别边界分别为：三个判别边界分别为：241、第一种情况（续）第一种情况（续）结论：结论：因为因为所以它属于所以它属于2 2类。类。251 1、第一种情况（续）第一种情况（续）26272、第二种情况（续）第二种情况（续）多类问题图例多类问题图例（第二种情况）（第二种情况）2829d12(x)=-d21(x)=x1 x2+5=0d d1212(x)(x)为正为正两分法例题图示两分法例题图示0 1 2 3 4 5 6 7 8 9987654321d d2121(x)(x)为正为正30d d1212(x)

9、(x)为正为正两分法例题图示两分法例题图示0 1 2 3 4 5 6 7 8 9987654321d d2121(x)(x)为正为正d d2323(x)=-(x)=-d d3232(x)=(x)=x x1 1+x x2 2=0=0d d3232(x)(x)为正为正d d2323(x)(x)为正为正31d d1212(x)(x)为正为正两分法例题图示两分法例题图示0 1 2 3 4 5 6 7 8 9987654321d d2121(x)(x)为正为正d d3232(x)(x)为正为正d d2323(x)(x)为正为正d d1313(x)=-(x)=-d d3131(x)=(x)=x x1 1+

10、3=0+3=0d d3131(x)(x)为正为正d d1313(x)(x)为正为正32 1 1类判别区域类判别区域 d d1212(x)0(x)0 d d1313(x)0(x)0 2 2类判别区域类判别区域 d d2121(x)0(x)0 d d2323(x)0(x)0d d1212(x)(x)为正为正两分法例题图示两分法例题图示0 1 2 3 4 5 6 7 8 9987654321d d2121(x)(x)为正为正d d3232(x)(x)为正为正d d2323(x)(x)为正为正d d3131(x)(x)为正为正d d1313(x)(x)为正为正 3 3类判别区域类判别区域 d d313

11、1(x)0(x)0 d d3232(x)0(x)0IR33343、第三种情况（续）第三种情况（续）多类问题图例多类问题图例（第三种情况）（第三种情况）35。36上述三种方法小结上述三种方法小结:方法方法判别函数的数目和方法判别函数的数目和方法相同，但没有相同，但没有不确定区，分析简单，是最常用的一种方法。不确定区，分析简单，是最常用的一种方法。时，时，法比法比法需要更多法需要更多当当的判别函数式，这是一个缺点。的判别函数式，这是一个缺点。类与其余的类与其余的开，而开，而法是将法是将类和类和类分开，显然类分开，显然法是将法是将但是但是类区分类区分法使模式更容易线性可分，这是它的优点。法使模式更容

12、易线性可分，这是它的优点。(1)明确概念：线性可分。一旦线性判别函数的系数Wk被确定以后，这些函数就可以作为模式分类的基础。3.小结小结(2)分法的比较：对于M类模式的分类，两分法共需要M个判别函数，但 两分法需要M(M-1)/2个。当时M3时，后者需要更多个判别式（缺点），但对模式的线性可分的可能性要更大一些（优点）。原因：一种类别模式的分布要比M-1类模式的分布更为聚集，分法受到的限制条件少，故线性可分的可能性大。2022/11/7模式识别导论38.2.1 线性判别函数的基本概念线性分类器的设计就是利用训练样本集建立线性判别函数式，也就是寻找最优的权向量w的过程。其主要步骤如下采集训练样本

13、，构成训练样本集。样本应该具有典型性确定一个准则J=J(w,x)，能反映分类器性能，且存在权值w*使得分类器性能最优设计求解w的最优算法，得到解向量w*2022/11/7模式识别导论392.2.2 感知器概念及其训练方法感知准则函数是五十年代由Rosenblatt提出的一种自学习判别函数生成方法，由于Rosenblatt企图将其用于脑模型感知器，因此被称为感知准则函数。其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。402.3 感知感知器算法器算法(Perceptron Approach)任选一初始增广权矢量任选一初始增广权矢量用训练样本检验分类是否正确用训练样本

14、检验分类是否正确对所有训练样本都正确分类？对所有训练样本都正确分类？YesYesENDENDYesYesNoNo对权值进行校正对权值进行校正NoNo感知器算法流程图感知器算法流程图流程:2022/11/7模式识别导论412.2 感知器概念及其训练方法设训练样本集X=x1,x2,xn，其中xk属于wi或者wj，且xk的类别是已知的。为了确定加权向量w*，执行下面的训练算法给定初始值：置k=0，权向量w(k)为任意值，可选常数0c1输入样本xm x1,x2,xn，计算判决函数值g(xm)=wT(k)xm按如下规则修改权向量若xm wi，且g(xm)0，则w(k+1)=w(k)+cxm若xm wj，

15、且g(xm)0，则w(k+1)=w(k)-cxm令k=k+1，返回第二步，直到w对所有样本稳定不变，结束42二、收敛定理：二、收敛定理：如果训练模式是线性可分的，感知器训如果训练模式是线性可分的，感知器训练算法在有限次迭代后便可以收敛到正确的练算法在有限次迭代后便可以收敛到正确的解矢量解矢量 。证明思路：证明思路：如果第如果第k+1k+1次迭代生成的权矢量比第次迭代生成的权矢量比第k k次迭次迭代生成的权矢量更接近解矢量，则收敛，即：代生成的权矢量更接近解矢量，则收敛，即：2022/11/7模式识别导论43例子1已知两类训练样本，(0,0),(0,1)属于w1，(1,0),(1,1)属于w2，

16、试用感知器算法求解w*训练样本分量增广化以及符号规范化。将训练样本增加一个分量1，且把来自w2的样本各分量乘以-1，得到训练模式集x1=(0,0,1),x2=(0,1,1),x3=(-1,0,-1),x4=(-1,-1,-1)运用训练算法，给权向量赋初值w(1)=(1,1,1)T，取增量c=1，置迭代步数k=1，下面是迭代过程2022/11/7模式识别导论44例子1K=1,xm=x1,w(k)Txm=10,w(2)=w(1)K=2,xm=x2,w(k)Txm=20,w(3)=w(2)K=3,xm=x3,w(k)Txm=-20,w(4)=w(3)+x3=(0,1,0)TK=4,xm=x4,w(k)Txm=-10,w(5)=w(4)+x4=(-1,0,-1)TK=5,xm=x1,w(k)Txm=-10,w(9)=w(8)2022/11/7模式识别导论45例子1K=9,xm=x1,w(k)Txm=0,w(10)=w(9)+x1=(-2,1,1)TK=10,xm=x2,w(k)Txm=20,w(11)=w(10)K=11,xm=x3,w(k)Txm=10,w(12)=w(11)K=12,xm=