模式识别概论_精品文档.ppt

模式识别概论_精品文档.ppt

《模式识别概论_精品文档.ppt》由会员分享，可在线阅读，更多相关《模式识别概论_精品文档.ppt（68页珍藏版）》请在冰豆网上搜索。

模式识别导论课程对象智能科学与技术自动化计算机应用技术专业本科专业的高年级学生使用与模式识别相关的学科统计学概率论线性代数（矩阵计算）高等数学机器学习人工智能图像处理计算机视觉教学方法着重讲述模式识别的基本概念，基本方法和算法原理。

注重理论与实践紧密结合实例教学：

通过大量实例讲述如何将所学知识运用到实际应用之中避免引用过多的、繁琐的数学推导。

教学目标掌握模式识别的基本概念和方法有效地运用所学知识和方法解决实际问题为研究新的模式识别的理论和方法打下基础题外话基本：

完成课程学习，通过考试，获得学分。

提高：

能够将所学知识和内容用于课题研究，解决实际问题。

飞跃：

通过模式识别的学习，改进思维方式，为将来的工作打好基础，终身受益。

教材/参考文献范九伦，赵凤，雷博等，模式识别导论，范九伦，赵凤，雷博等，模式识别导论，西安电子科技大学出版社，2012。

边肇祺，模式识别（第二版），清华大学出版社，2000。

齐敏，李大建，郝重阳，模式识别导论，清华大学出版社，2009。

R.Duda,P.Hart,D.Stork,PatternClassification,secondedition,2000（有中译本）.机构、会议、刊物1973年IEEE发起了第一次关于模式识别的国际会议“ICPR”（此后两年一次），成立了国际模式识别协会-“IAPR”1977年IEEE成立PAMI委员会，创立IEEETrans.onPAMI，并支持ICCV,CVPR两个会议其他刊物PatternRecognition（PR）PatternRecognitionLetters（PRL）PatternAnalysisandApplication（PAA）InternationalJournalofPatternRecognitionandArtificialIntelligence（IJPRAI）第一章引论模式识别例子看云识天气判断今天的天气的冷暖、晴雨医生对病人的病情进行识别学生上课时进行语音、文字识别指纹识别、人脸识别周围物体的认知：

桌子、椅子人的识别：

张三、李四声音的辨别：

汽车、火车，狗叫、人语气味的分辨：

炸带鱼、红烧肉模式识别模式识别直观，无所不在，“人以类聚，物以群分”人和动物的模式识别能力是极其平常的，但对计算机来说却是非常困难的。

随着计算机科学的发展和计算机应用的普及，迫切希望计算机也能听懂我们说的话、看懂我们写的字，从而代替人去完成某些复杂、繁重以及危险恶劣环境下的识别工作。

什么是模式（Pattern）？

什么是模式？

广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式模式。

模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。

模式的直观特性:

可观察性可区分性相似性认知模式识别模式识别是生物体的基本活动，与感觉、记忆、学习、思维等心理过程紧密联系。

因此，模式识别是研究生物体如何感知对象的学科，属于认识科学的范畴，是生理学家、心理学家、生物学家和神经生理学家的研究内容，常被称做认知模式识别。

具体而言认知模式识别主要经历分析、比较和决策三个阶段。

一般说来，模式识别过程是将感觉信息与长时记忆中的信息进行比较，再决定它与哪个长时记忆中的项目有着最佳匹配的过程。

认识模式识别认知模式识别是认知心理学研究领域的核心问题之一，是人的一种最基本的认知能力。

匹配过程可以采用：

1.模板匹配理论2.原形匹配理论3.特征匹配理论4.结构优势描述理论什么是模式？

狭义地讲，模式是为了能让计算机执行和完成分类识别任务，通过对具体的个别事物进行观测所得到的具体时间和空间分布的信息。

把模式所属的类别或同一类中模式的总体称为模式类。

计算机模式识别根据待识别对象的特征或属性，利用以计算机为中心的机器系统，运用一定的分析算法确定对象类别的学科，是数学家、信息学专家和计算机专家的研究内容模式识别定义模式识别定义：

研究一些自动技术，利用这些技术，计算机研究一些自动技术，利用这些技术，计算机自动地把待识别模式分到各自的模式类中。

自动地把待识别模式分到各自的模式类中。

例如：

数字识别计算机模式识别模式识别系统模式识别系统的分类识别过程数据获取特征提取和选择预处理分类决策分类器设计模式识别系统组成单元数据获取：

用计算机可以运算的符号来表示所研究的对象二维图像：

文字、指纹、地图、照片等一维波形：

脑电图、心电图、季节震动波形等物理参量和逻辑值：

体温、化验数据、参量正常与否的描述通过各种传感器把研究对象的各种物理变量转化为计算机可以接受的数值和符号集合,习惯上称这种数值或符号串所组成的空间为模式空间预处理单元：

去噪声，提取有用信息，并对输入测量仪器或其它因素所造成的退化现象进行复原模式识别系统组成单元特征提取和选择：

对原始数据进行变换，得到最能反映分类本质的特征测量空间：

原始数据组成的空间特征空间：

分类识别赖以进行的空间模式表示：

维数较高的测量空间-维数较低的特征空间分类决策：

在特征空间中用模式识别方法把被识别对象归为某一类别基本做法：

在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小模式识别系统一个功能完善的计算机模式识别系统除了具有分类识别过程外,通常还应该具有学习功能,具体如下图.模式识别系统的原理框图统计模式识别过程实例在传送带上用光学传感器件对鱼按品种分类鲈鱼（Seabass）品种鲑鱼（Salmon）识别过程数据获取：

架设一个摄像机，采集一些样本图像，获取样本数据预处理：

去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开识别过程特征提取和选择：

对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量长度亮度宽度鱼翅的数量和形状嘴的位置，等等分类决策：

把特征送入决策分类器模式分类器的获取和评测过程数据采集特征选取模型选择训练和测试计算结果和复杂度分析，反馈训练和测试训练集：

是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。

测试集：

在设计识别和分类系统时没有用过的独立样本集。

系统评价原则：

为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。

模式识别的研究目的：

利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。

Y=F（X）X的定义域取自特征集Y的值域为类别的标号集F是模式识别的判别方法模式识别方法模式识别系统的目标：

在特征空间和解释空间之间找到一种映射关系，这种映射也称之为假说。

特征空间：

从模式得到的对分类有用的度量、属性或基元构成的空间。

解释空间：

将c个类别表示为其中为所属类别的集合，称为解释空间。

假说的两种获得方法监督学习、概念驱动或归纳假说：

在特征空间中找到一个与解释空间的结构相对应的假说。

在给定模式下假定一个解决方案，任何在训练集中接近目标的假说也都必须在“未知”的样本上得到近似的结果。

依靠已知所属类别的的训练样本集，按它们特征向量的分布来确定假说（通常为一个判别函数），只有在判别函数确定之后才能用它对未知的模式进行分类；对分类的模式要有足够的先验知识，通常需要采集足够数量的具有典型性的样本进行训练。

假说的两种获得方法（续）非监督学习、数据驱动或演绎假说：

在解释空间中找到一个与特征空间的结构相对应的假说。

这种方法试图找到一种只以特征空间中的相似关系为基础的有效假说。

在没有先验知识的情况下，通常采用聚类分析方法，基于“物以类聚”的观点，用数学方法分析各特征向量之间的距离及分散情况；如果特征向量集聚集若干个群，可按群间距离远近把它们划分成类；这种按各类之间的亲疏程度的划分，若事先能知道应划分成几类，则可获得更好的分类结果。

模式分类的主要方法数据聚类统计分类结构模式识别神经网络数据聚类目标：

用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集。

是一种非监督学习的方法，解决方案是数据驱动的。

统计分类基于概率统计模型（概率密度函数、后验概率）得到各类别的特征向量的分布，以取得分类的方法。

特征向量分布的获得是基于一个类别已知的训练样本集。

是一种监督分类的方法，分类器是概念驱动的。

结构模式识别对于具有复杂结构特征的对象，仅用一些复杂特征已不能对其进行充分描述，此时需要采用结构模式识别方法。

该方法首先将对象分解为若干基本单元（基元），然后利用这些基元和它们之间的结构关系来描述对象。

在结构模式识别中，基元以及基元之间的结构关系采用图和字符串来表示，这些图和字符串称为形式语言的句子，再根据代表类的文法运用形式语言理论和技术对句子进行句法分析，根据其是否符合某一类的文法来确定其类别。

因此，结构模式识别也称为句法模式识别。

神经网络神经网络是受人脑组织的生理学启发而创立的。

由一系列互相联系的、相同的单元（神经元）组成。

相互间的联系可以在不同的神经元之间传递增强或抑制信号。

增强或抑制是通过调整神经元相互间联系的权重系数来（weight）实现。

神经网络可以实现监督和非监督学习条件下的分类。

模式识别的一些基本准则奥卡姆剃刀原理14世纪逻辑学家、圣方济各会修士奥卡姆的威廉提出一个原理“如无必要，勿增实体”，杀鸡焉用宰牛刀，在多种实现方法中提倡选择最简单的假设和模型，尽量不要把问题复杂化，尽力把没用的和会把问题复杂化的因素去掉。

模式识别的一些基本准则没有免费的午餐定理（NoFreeLunch,NFL）该定理指出：

没有最好的算法，每种算法总有它的优势和缺陷。

NFL定理可简单表述为：

对于所有可能的问题，任意给定两个算法A，A，如果A在某些问题上表现得比A好，那么A在其他问题上表现一定比A差。

该定理隐含指出：

任何一种分类算法甚至不比搜索空间的线性列举或者纯随机搜索算法更优。

模式识别的一些基本准则丑小鸭定理20世纪60年代，美籍日本学者渡边慧证明了“丑小鸭定理”。

定理说：

丑小鸭和白天鹅之间的区别和两只白天鹅之间的区别一样大。

这个看起来完全违背常识的定理实际上说的是：

世界上不存在分类的客观标准，一切分类的标准都是主观的。

渡边慧举了一个鲸鱼的例子：

按照生物学的分类方法，鲸鱼属于哺乳类的偶蹄目，和牛是一类；但是在产业界，鲸和鱼同属于水产业，而不属于包括牛的畜牧业。

分类结果取决于选择什么特征作为分类标准，而特征的选择又依存于人的目的。

丑小鸭是白天鹅的幼雏，在画家的眼里，丑小鸭和白天鹅的区别大于两只白天鹅的区别；但是在遗传学家的眼里，丑小鸭与其父亲或母亲的差别小于父母之间的差别。

由此引出的一个问题是，事物有没有“本质”？

一个苹果，牛顿看到的是它的质量，遗传学家看到的是它的染色体中的DNA序列，美食家关心的是它的味道，画家看到的是它的颜色和形状，孔融还可能关注其大小并从中看出道德因素。

这里面没有谁对谁错的问题，所以不可能知道苹果的“本质”是什么。

在说到“本质”的时候，充其量说的只是“我认为最重要的特征”，只代表个人的立场。

模式识别简史1929年G.Tauschek发明阅读机，能够阅读0-9的数字。

30年代Fisher提出统计分类理论，奠定了统计模式识别的基础。

50年代NoamChemsky提出形式语言理论傅京荪提出句法结构模式识别句法结构模式识别。

60年代L.A.Zadeh提出了模糊集理论，模糊模式识别方法得以发展和应用。

80年代以Hopfield网、BP网为代表的神经网络模型导致人工神经元网络复活，并在模式识别得到较广泛的应用。

90年代小样本学习理论，支持向量机也受到了很大的重视。

模式识别的应用（举例）生物学生物特征识别自动细胞学、染色体特性研究、遗传研究天文学天文望远镜图像分析、自动光谱学经济学股票交易预测、企业行为分析医学心电图分析、脑电图分析、医学图像分析模式识别的应用（举例）工程产品缺陷检测、特征识别、语音识别、自动导航系统、污染分析军事航空摄像分析、雷达和声纳信号检测和分类、自动目标识别安全指纹识别、人脸识别、监视和报警系统实例：

统计模式识别19名男女同学进行体检，测量了身高和体重，但事后发现其中有4人忘记填写性别，