模式识别课件-v1.0.ppt

1、模式识别模式识别Pattern RecognitionPattern Recognition主讲教师：主讲教师：陶青川陶青川(副教授）副教授）1333099696113330996961 使用教材：孙即祥等编著，现代模式识别，长沙，使用教材：孙即祥等编著，现代模式识别，长沙，国防科技大学出版社，国防科技大学出版社，第一讲 绪论第一部分 相关知识介绍与课程内容第二部分 模式识别学科介绍信息行业的基本需求-美国NII计划不分地域地、有效地获得与传输信息。不分地域地、有效地共享硬软资源。有效地利用信息，以提高生产率。保证信息安全。相关知识介绍与课程内容在过去的十年中，做了什么？以浏览器等网络为核心技

2、术的“有效获得信息”的研究取得了预期效果。人们已可以从不同地域有效地获得信息。但是，大型信息化系统-重庆防汛抗旱系统信息采集、计算信息采集、计算机网络、数据汇机网络、数据汇集与应用支撑平集与应用支撑平台、防汛抗旱管台、防汛抗旱管理等应用四个子理等应用四个子系统。系统。提高信息使用率以人工智能、模式识别、机器学习、机器视觉、数据挖掘为理论基础的各种方法，是提高信息使用率的有效途径之一。应用计算机，以人类智慧的机理和实现作为研究目标的工作，称为“人工智能”包括学习、推理、判断、分析等模式识别模式识别的基本定义的基本定义 模式模式(pattern)-存在于时间，空间中可观察存在于时间，空间中可观察

3、的事物，具有时间或空间分布的信息。的事物，具有时间或空间分布的信息。模式识别模式识别(Pattern Recognition)-用计算机（机器系统）实现人对各种事物或现象的用计算机（机器系统）实现人对各种事物或现象的分析分析,描述描述,判断判断,识别。（广义的）识别。（广义的）模式识别与图象识别，图象处理的关系模式识别与图象识别，图象处理的关系,模式识别是模拟人的某些功能 模拟人的视觉:计算机+光学系统 模拟人的听觉:计算机+声音传感器 模拟人的嗅觉和触觉:计算机+传感器 模式识别？模式识别？模式模式(样本样本)表示方法表示方法1.1.向量表示向量表示 :假设一个样本有n个变量(特征)=(X1

4、,X2,Xn)T 2.2.矩阵表示矩阵表示:N个样本，n个变量(特征)3 3 几何表示几何表示 一维表示 X1=1.5 X2=3 二维表示 X1=(x1,x2)T=(1,2)T X2=(x1,x2)T=(2,1)T 三维表示 X1=(x1,x2,x3)T=(1,1,0)T X2=(x1,x2,x3)T=(1,0,1)T4 4 基元（链码）表示基元（链码）表示：在右侧的图中八个基元分别表0,1,2,3,4,5,6,7,八个方向和基元线段长度。则右侧样本可以表示为X1=006666。这种方法将在句法模式识别中用到。基于统计方法的模式识别系统组成信息获取预处理特征提取和选取分类器设计分类决策一些应用

5、（1）、信息获取二维图象 如文字、指纹、地图、照片一维波形 如脑电图、心电图、机械震动波形物理参量和逻辑值通过测量、采样和量化，可以用矩阵或向量表示二维图象或一维波形（2）、预处理目的：去除噪声，加强有用信息，复原信息预处理：包括AD,二值化，图象的平滑，变换，增强，恢复，滤波等,主要指图象处理。（3）、特征提取和选取特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征 测量空间：原始数据组成的空间 特征空间：分类识别赖以进行的空间 模式表示：维数较高的测量空间-维数较低的特征空间例如，一幅64x64的图象可以得到4096个数据，这种在测量空间的原始数据通过变换获得在特征空间最能反映

6、分类本质的特征。（4）、分类决策在特征空间中用统计方法把被识别对象归为某一类别基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类时所造成的错误识别率最小或引起的损失最小（统计模式识别）机器学习计算的说明机器学习计算的说明令W是这个给定世界的有限或无限所有对象的集合，由于我们观察能力的限制，我们只能获得这个世界的一个有限的子集QW。模式识别、机器学习的任务就是根据这个世界的对象子集Q，推算这个世界的一个模型，使它近可能为真。模式识别与机器学习三个需要解决的问题一致性假设：机器学习任务的本质。对样本空间的划分：决定对样本的有效性。泛化能力：决定对世界的有效性。模式识别

7、的发展史1929年 G.Tauschek发明阅读机，能够阅读0-9的数字。30年代 Fisher提出统计分类理论,奠定了统计模式识别的基础。因此，在6070年代，统计模式识别发展很快，但由于被识别的模式愈来愈复杂，特征也愈多，就出现“维数灾难”。但由于计算机运算速度的迅猛发展，这个问题得到一定克服。统计模式识别仍是模式识别的主要理论。50年代 Noam Chemsky 提出形式语言理论,美籍华人付京荪 提出句法结构模式识别。60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别理论得到了较广泛的应用。80年代 Hopfield提出神经元网络模型理论。近些年人工神经元网络在模式识别和人工智能

8、上得到较广泛的应用。90年代小样本学习理论，支持向量机也受到了很大的重视。教学要求及目的教学要求及目的 模式识别是控制科学与工程一级学科所包含的所有硕士模式识别是控制科学与工程一级学科所包含的所有硕士点硕士研究生必修的学位课程，也是通信与信息系统、信号点硕士研究生必修的学位课程，也是通信与信息系统、信号与信息处理、电路与系统等专业研究生的必修课或选修课。与信息处理、电路与系统等专业研究生的必修课或选修课。模式识别是现代高科技研究和应用的重要领域，它为模式识别是现代高科技研究和应用的重要领域，它为2121世纪世纪人类进入智能化奠定了基础。人类进入智能化奠定了基础。本课程的目的就是系统地介绍模式识

9、别的基本理论、基本课程的目的就是系统地介绍模式识别的基本理论、基本技术和基本方法。为研究生掌握和应用这门高新技术奠定本技术和基本方法。为研究生掌握和应用这门高新技术奠定坚实的基础。要求学生熟练地掌握统计模式识别技术、句法坚实的基础。要求学生熟练地掌握统计模式识别技术、句法模式识别技术、模糊模式识别技术和智能模式识别技术的基模式识别技术、模糊模式识别技术和智能模式识别技术的基本原理与方法。本原理与方法。教学方法着重讲述模式识别的基本概念，基本方法和算法原理。注重理论与实践紧密结合科研项目与大试验避免引用过多的、繁琐的数学推导。使初步具备科研的能力作业：科研题目、上机作业题作业：科研题目、上机作业

10、题考试：开卷考试考试：开卷考试主要参考文献主要参考文献1边肇祺等，模式识别（第二版），北京，清华大学出边肇祺等，模式识别（第二版），北京，清华大学出版社，版社，2000年年1月月.2杨光正等，模式识别，合肥，中国科技大学出版社，杨光正等，模式识别，合肥，中国科技大学出版社，2001年年3(美美)Richard O.Duda Peter E.Hart Dovid G.Stork著著 李宏东李宏东 姚天翔等译，模式分类（第二版）（姚天翔等译，模式分类（第二版）（attern Classification Second Edition）北京，机械工业出版、）北京，机械工业出版、中信中信出版社（中英两

11、种版本）出版社（中英两种版本）2003.4(希腊希腊)Theodoridis.(西奥多里蒂斯西奥多里蒂斯)等著，模式识等著，模式识别别(第三版第三版)（Pattern Recognition Second Edition）英文）英文影印版北京，机械工业出版社，影印版北京，机械工业出版社，.中译版李晶中译版李晶皎等译，北京电子工业出版社，皎等译，北京电子工业出版社，（英）（英）ndrew R.Webb著，王萍等译统计模式识著，王萍等译统计模式识别（第二版）（别（第二版）（tatistical Pattern Recognition Second Edition）北京，电子工业出版社，）北京，电子

12、工业出版社，.6沈青等，模式识别导论，国防科技大学出版社，沈青等，模式识别导论，国防科技大学出版社，1991年年5月月7J.T.Tou&R.C.Gonzalez.Patte Recognition Principles,Addison-Wesley Publishing Company,London,19748J.Sklansky,G.N.Wassel.Patten Classification and Trainable Machines,Springer-Verlag,New York,1981主要期刊主要期刊 IEEE Trans.On PAMI,NN Pattern Recogniti

13、on Pattern Recognition Letter Machine Learning Neural Computation 模式识别与人工智能1973年 IEEE发起了第一次关于模式识别的国际会议“ICPR”，成立了国际模式识别协会-“IAPR”，每2年召开一次国际学术会议。1977年 IEEE的计算机学会成立了模式分析与机器智能（PAMI）委员会，每2年召开一次模式识别与图象处理学术会议。国内的组织有电子学会，通信学会，自动化协会，中文信息学会.。CVPR:IEEE Conf on Comp Vision and Pattern Recognition(0.96)ICML:Intl

14、Conf on Machine Learning(0.95)ICPR:Intl Conf on Pattern Recognition(0.76)关于模式识别的学术组织和重要会议关于模式识别的学术组织和重要会议当务之急！p模式识别与人工智能需要更多的数学知识。简单的写程序的工作，将逐渐变为软件工人的事情。p信息科学面临来自数学家与物理学家的严重生存挑战。p补充数学也许是信息科学研究者的当务之急。尽管数学不是万能的，但是没有数学是万万不能的！课程主要内容课程主要内容一、引论一、引论 模式识别的基本概念；模式识别系统；模式识别理模式识别的基本概念；模式识别系统；模式识别理论与技术；模式识别的发展和

15、应用；论与技术；模式识别的发展和应用；二、统计模式识别二、统计模式识别1 1聚类分析：聚类分析：聚类分析的概念；模式相似性测度及聚类准则函数；聚类分析的概念；模式相似性测度及聚类准则函数；谱系聚类算法；动态聚类算法；最小张树分类法；聚类有谱系聚类算法；动态聚类算法；最小张树分类法；聚类有效性评价。效性评价。2 2线性判别函数线性判别函数 线性判别函数；线性判别函数；Fisher线性判别；感知准则函数线性判别；感知准则函数和梯度下降法；最小均方误差准则函数及算法；广义线和梯度下降法；最小均方误差准则函数及算法；广义线性判别函数；二次判别函数；非线性分类器及分类方法。性判别函数；二次判别函数；非线

16、性分类器及分类方法。3 3统计决策统计决策 最小错误率的最小错误率的Bayes决策；最小风险的决策；最小风险的Bayes决策；决策；正态分布时的统计决策；最小最大损失决策；正态分布时的统计决策；最小最大损失决策；N-P（Neyman-Pearson）决策；）决策；Fisher准则判别准则判别 4 4概率密度函数的估计概率密度函数的估计 统计推断概述；参数估计；非参数估计；错误率统计推断概述；参数估计；非参数估计；错误率测试；平均损失及最小误判概率的估计方法；经验风险测试；平均损失及最小误判概率的估计方法；经验风险设计；隐马尔可夫模型。设计；隐马尔可夫模型。5 5近邻法近邻法 最近邻法：最近邻法：K近邻法；剪辑近邻法；引入拒绝近邻法；剪辑近邻法；引入拒绝决策的近邻法；近邻法中最佳距离及其实际计算。决策的近邻法；近邻法中最佳距离及其实际计算。6 6特征提取与选择特征提取与选择基本概念：类别可分性判据；基于可分性判据的特征基本概念：类别可分性判据；基于可分性判据的特征提取和选择；基于提取和选择；基于KL变换的特征提取与选择；特征选择变换的特征提取与选择；特征选择的新方法（模拟退火算法、的新方