模式识别复习重点总结.doc

模式识别复习重点总结.doc

《模式识别复习重点总结.doc》由会员分享，可在线阅读，更多相关《模式识别复习重点总结.doc（16页珍藏版）》请在冰豆网上搜索。

1.什么是模式及模式识别？

模式识别的应用领域主要有哪些？

模式：

存在于时间，空间中可观察的事物，具有时间或空间分布的信息；

模式识别：

用计算机实现人对各种事物或现象的分析,描述,判断,识别。

模式识别的应用领域：

（1）字符识别；

（2）医疗诊断；（3）遥感；

（4）指纹识别脸形识别；（5）检测污染分析，大气，水源，环境监测；

（6）自动检测；（7）语声识别，机器翻译，电话号码自动查询，侦听，机器故障判断；

（8）军事应用。

2.模式识别系统的基本组成是什么？

（1）信息的获取：

是通过传感器，将光或声音等信息转化为电信息；

（2）预处理：

包括A\D,二值化，图象的平滑，变换，增强，恢复，滤波等,主要指图象处理；

（3）特征抽取和选择：

在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征；

（4）分类器设计：

分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低。

把这些判决规则建成标准库；

（5）分类决策：

在特征空间中对被识别对象进行分类。

3.模式识别的基本问题有哪些？

（1）模式（样本）表示方法：

（a）向量表示；（b）矩阵表示；（c）几何表示；（4）基元（链码）表示；

（2）模式类的紧致性：

模式识别的要求:

满足紧致集，才能很好地分类；如果不满足紧致集，就要采取变换的方法,满足紧致集

（3）相似与分类；（a）两个样本xi，xj之间的相似度量满足以下要求：

①应为非负值

②样本本身相似性度量应最大

③度量应满足对称性

④在满足紧致性的条件下，相似性应该是点间距离的

单调函数

（b）用各种距离表示相似性

（4）特征的生成:

特征包括：

（a）低层特征;（b）中层特征;（c）高层特征

（5）数据的标准化:

（a）极差标准化；（b）方差标准化

4．线性判别方法

（1）两类：

二维及多维判别函数，判别边界，判别规则

二维情况：

（a）判别函数：

（）

（b）判别边界：

g（x）=0;

（c）判别规则：

n维情况：

（a）判别函数：

也可表示为：

（b）判别边界：

g1（x）=WTX=0

（c）判别规则：

（2）多类：

3种判别方法（函数、边界、规则）

（A）第一种情况：

（a）判别函数：

M类可有M个判别函数

（b）判别边界：

ωi（i=1,2,…,n）类与其它类之间的边界由gi（x）=0确定

（c）判别规则：

（B）第二种情况：

（a）判别函数：

有M（M_1）/2个判别平面

（b）判别边界：

（c）判别规则：

（C）第三种情况：

（a）判别函数：

（b）判别边界：

gi（x）=gj（x）或gi（x）-gj（x）=0

（c）判别规则：

5．什么是模式空间及加权空间，解向量及解区？

（1）模式空间：

由构成的n维欧氏空间；

（2）加权空间：

以为变量构成的欧氏空间；

（3）解向量：

分界面为H，W与H正交，W称为解向量；

（4）解区：

解向量的变动范围称为解区。

6．超平面的四个基本性质是什么？

性质①：

W与H正交；

性质②：

其中，为x矢量到H的正交投影；

性质③：

性质④：

7．二分法能力如何表示？

N个样品线性可分数目（条件：

样本分布良好）：

线性可分概率:

8．广义线性判别方法

（1）非线性→线性

一个非线性判别函数通过映射，变换成线性判别函数：

（2）线性判别

9．分段线性判别方法

1）基于距离:

（1）子类，类判别函数

（2）判别规则

（1）子类：

把ωi类可以分成li个子类:

∴分成l个子类。

子类判别函数：

在同类的子类中找最近的均值

（2）判别规则：

这是在M类中找最近均值。

则把x归于ωj类完成分类

2）基于函数：

（1）子类，类判别函数

（2）判别规则

（1）子类类判别函数：

对每个子类定义一个线性判别函数为：

（2）判别规则：

在各子类中找最大的判别函数作为此类的代表，则对于M类，可定义M个判别函数gi（x）,i=1,2,…..M,因此，决策规则

3）基于凹函数的并：

（1）析取范式，合取范式，凹函数

（2）判别规则

（1）析取范式：

P=（L11∧L12∧…∧L1m）∨…∨（Lq1∧Lq2∧…∧Lqm）

合取范式：

Q=（L11∨L12∨…∨L1m）∧…∧（Lq1∨Lq2∨…∨Lqm）

凹函数：

Pi=Li1∧Li2∧…∧Lim

（2）判别规则：

设第一类有q个峰，则有q个凹函数。

即P=P1∨P2∨……∨Pq

10．非线性判别方法

（1）集中，分散

（2）,均集中

11．分类器的设计

（1）梯度下降法（迭代法）：

准则函数，学习规则

（a）准则函数：

J（W）≈J（Wk）+▽JT（W-Wk）+（W-Wk）TD（W-Wk）T/2

其中D为当W=Wk时J（W）的二阶偏导数矩阵

（b）学习规则：

从起始值W1开始，算出W1处目标函数的梯度矢量▽J（W1），则下一步的w值为：

W2=W1-ρ1▽J（W1）其中W1为起始权向量，ρ1为迭代步长，J（W1）为目标函数，▽J（W1）为W1处的目标函数的梯度矢量

在第K步的时候

Wk+1=Wk-ρk▽J（Wk）最佳步长为ρk=||▽J||2/▽JTD▽J

这就是梯度下降法的迭代公式。

（2）感知器法：

准则、学习规则（批量，样本）

（a）准则函数：

其中x0为错分样本

（b）学习规则：

1.错误分类修正wk

如wkTx≤0并且x∈ω1wk+1=wk+ρkx

如wkTx≥0并且x∈ω2wk+1=wk-ρkx

2.正确分类，wk不修正

如wkTx＞0并且x∈ω1

如wkTx＜0并且x∈ω2

wk+1=wk

（3）最小平方误差准则法（MSE法）（非迭代法）：

准则、权向量解

（a）准则函数：

（b）权向量解：

（4）韦—霍氏法（LMS法）（迭代法）：

准则，学习规则

（a）准则函数：

（b）学习规则：

W1任意，Wk+1=Wk+ρk（bk-WkTXk）Xk

ρk随迭代次数k而减少，以保证算法收敛于满意的W值

（5）何—卡氏法（H-K法）（迭代法）：

准则，，的学习规则

（a）准则：

它的解为：

（b）b，W的学习规则：

其中c为矫正系数，ek为误差矢量，ek=XWk-bk

初始条件W1=X+b1并且b1>0

迭代时检测

如果ek≥0时，XW >b，系统线性可分，迭代收敛

如果ek<0时，XW 

（6）Fisher分类法：

准则函数的建立，权值计算，的选择

（a）准则函数的建立：

投影样本之间的类间分离性越大越好，投影样本的总离散度越小越好。

即可表示为：

其中Sw为类内散布矩阵,Sb为类间散布矩阵

（b）W权值计算：

（c）W0的选择：

Yki表示第i类中第k个样本的投影值

N1为ω1样本数N2为ω2样本数 

（7）电位函数分类器：

电位函数，累积电位的计算

（a）电位函数：

电位分布函数有如下三种形式：

α为系数xk为某一特定点

（b）累计电位的计算：

Kk+1（x）=Kk（x）+rk+1K（x,xk）

其中：

xk+1∈ω1并且Kk（xk+1）>0时rk+1=0

xk+1∈ω1并且Kk（xk+1）≤0时rk+1=1

xk+1∈ω2并且Kk（xk+1）<0时rk+1=0

xk+1∈ω2并且Kk（xk+1）≥0时rk+1=-1

12．1）二类问题的贝叶斯判别

（1）判别函数的四种形式

（2）决策规则

（3）决策面方程

（4）决策系统的结构

（1）判别函数的四种形式：

（2）判别规则：

（3）决策面方程：

g（x）=0

（4）决策系统的结构

（A）向量特征（B）判别计算（C）阈值单元（D）决策

2）多类问题的贝叶斯判别

（1）判别函数的四种形式

（2）决策规则

（3）决策面方程

（4）决策系统的结构

（1）判别函数的四种形式：

M类有M个判别函数g1（x）,g2（x）,…,gm（x）.

（2）决策规则：

另一种形式：

（3）决策面方程：

（4）决策系统的结构：

（a）特征向量；（b）判别计算；（c）最大选择器；（d）决策

13．三种最小错误率贝叶斯分类器（正态分布）：

判别函数，判别规则，决策面方程

（1）第一种情况：

各个特征统计独立，且同方差情况。

（最简单情况）

（a）判别函数：

（b）判别规则：

（c）决策面方程：

（2）第二种情况：

Σi＝Σ相等，即各类协方差相等。

（a）判别函数：

（b）判别规则：

（c）决策面方程：

（3）第三种情况（一般情况）：

Σί为任意，各类协方差矩阵不等，二次项xT