中科大模式识别课件Lec1.pdf

1、Pattern RecognitionLecture 1 Bayesian Decision TheoryFeb.26th,2008主要内容 基本问题 贝叶斯决策 最小误差率分类 分类器、判别函数和判定面 正态密度 正态分布的判别函数 最大似然估计基本问题 假设要识别的样本x x表示为一个d维特征向量 该样本可能属于k个类别（c1,c2,ck）中的一个 各类别出现的先验概率P(ci)已知 各类别条件概率密度函数p(x x|ci)已知 怎样分类x x最合理？,.,21dxxx=x贝叶斯决策 利用贝叶斯公示计算后验概率 将x x分到对应最大后验概率的类这是令误差率最小的分类原则 如果不同的分类错误

2、对应不同的代价，则需使用条件风险最小化原则 引入分类的损失变量 令最小 误差率最小化是风险最小化的一种特例)(xicP)(xerrorP)(xiR判别函数和判定面 一个分类器可以表示为判别函数的形式 其中g(x x)的输入为样本 输出为类号 可根据贝叶斯决策定义判别函数)(argmaxlclass_labexiig=正态密度正态密度正态密度正态分布的主要性质：正态密度由均值和方差完全确定 服从正态分布的多个变量的线性组合仍然服从正态分布。（无论这些变量是否独立）多元正态分布的协方差矩阵是对称半正定阵。正态分布的判别函数一种最小误差概率分类的判别函数：假设第i类产生的特征向量服从正态分布。将多元正态密度代入上式，得到第i类的判别函数：下面我们将根据协方差矩阵的不同取值来讨论上述判别函数以及相应的分类结果正态分布的判别函数我们分为三种情况讨论：各特征独立 所有类协方差矩阵相等 协方差矩阵不同任意最大似然估计在实际问题中，我们往往不知道分布参数（如先验概率和条件概率）。那么，如何根据有限的训练样本估计这些参数？End of Lecture 1