模式识别-第4讲-概率密度函数的估计_精品文档.ppt

1、模式识别模式识别授课教师：薛耀红授课教师：薛耀红第四讲第四讲 概率密度函数的估计概率密度函数的估计本节课主要内容本节课主要内容u参数估计的基本概念参数估计的基本概念最大似然估计最大似然估计贝叶斯估计和贝叶斯学习贝叶斯估计和贝叶斯学习u正态分布的监督参数估计正态分布的监督参数估计最大似然估计最大似然估计贝叶斯估计和贝叶斯学习示例贝叶斯估计和贝叶斯学习示例引言引言设设计计贝贝叶叶斯斯分分类类器器的的方方法法：即即已已知知先先验验概概率率P P(i i)和和类类条条件件概概率率密密度度p p(x|i i)的的情情况况下下，按按一一定定的的决决策策规则确定规则确定判别函数判别函数和和决策面决策面。引言

2、引言基于样本的基于样本的BayesBayes分类器：通过估计分类器：通过估计类条件概率密度函类条件概率密度函数，设计相应的判数，设计相应的判别函数别函数MAXMAXg g1 1.g g2 2g gc c.x1x2xna(x)训练样本集训练样本集样本分布的样本分布的统计特征：统计特征：概率密度函数决策规则：决策规则：判别函数判别函数决策面方程决策面方程分类器功能结构uu如如类类先先验验概概率率P P(i i)和和条条件件概概率率密密度度p p(x x/i i)未未知知，如如何何去去估估计计它它们们？即即给给定定一一定数量的样本，去实现这些函数的估计。定数量的样本，去实现这些函数的估计。1.1.2

3、.2.uu基于样本的基于样本的BayesBayes决策过程是什么？决策过程是什么？概率密度函数估计概率密度函数估计BayesBayes决策规则决策规则基于样本的两步基于样本的两步Bayes决策决策主要思想主要思想uu如何利用如何利用样本样本集集估计估计P(i)和和p(x|i)？uu估计量的性质如何？估计量的性质如何？uu如何利用样本集估计错误率的方法如何利用样本集估计错误率的方法利用利用样本集样本集进行参数估计类型：进行参数估计类型：监督参数估计监督参数估计监督参数估计监督参数估计非监督参数估计非监督参数估计非监督参数估计非监督参数估计非参数估计非参数估计非参数估计非参数估计参数估计参数估计参

4、数估计参数估计监督参数估计：监督参数估计：已知已知样本样本的的类条件概率密类条件概率密度度p(x/i)的的形式形式和样本所属的和样本所属的类别类别 i i，去，去推断概率密度函数中的某些未知的参数推断概率密度函数中的某些未知的参数（均值、方差）。（均值、方差）。非监督参数估计：非监督参数估计：已知已知样本样本的的类条件概率类条件概率密度密度p(x/i)的的形式形式而样本所属的而样本所属的类别类别 i i未未知知，去推断概率密度函数中的某些未知的，去推断概率密度函数中的某些未知的参数。参数。非参数估计：非参数估计：已知已知样本样本所属的所属的类别类别 i i ，而，而样本的样本的类条件概率密度类

5、条件概率密度p(x/i)的形式的形式未知未知.去推断概率密度函数。去推断概率密度函数。uu对于参数估于参数估计，存在两种方法，存在两种方法实现：最大似然估计最大似然估计(Maximum likelihood Maximum likelihood estimation)estimation)BayesBayes估计估计uu对非参数估非参数估计，存在两种方法：，存在两种方法：Parzen窗窗kN近近邻法法最大似然估计和最大似然估计和BayesBayes估计区别估计区别两种方法估两种方法估计的参数的的参数的结果接近，但果接近，但过程有区程有区别：前者前者将未知参数看成是将未知参数看成是确定确定变量量

6、，在，在实际观察察样本的本的概率概率为最大的条件最大的条件下，下，获得未知参数的最好得未知参数的最好的估的估计；后者后者将未知参数看成是按某将未知参数看成是按某种分布得种分布得随机随机变量量，样本的本的观察察结果果由由先先验分布分布转化化为后后验分布分布，再由后，再由后验分布修正参数的估分布修正参数的估计值。参数估计参数估计u统计量统计量：针对针对不同要求构造出不同要求构造出不同要求构造出不同要求构造出样样本集合本集合本集合本集合H H的某种函的某种函的某种函的某种函数数数数 为参数的估计值。为参数的估计值。u参数空间参数空间：总体分布的未知参数：总体分布的未知参数所有可能取值组成所有可能取值

7、组成的集合的集合()。uu点估点估点估点估计计的的的的估估估估计计量量量量和和和和估估估估计值计值：点估点估点估点估计计就是构造一个就是构造一个就是构造一个就是构造一个统统计计量量量量作作作作为为参数参数参数参数的估的估计。称。称为的估的估计量。量。估计量的评价标准估计量的评价标准u估估计量的量的评价价标准准：无偏性，有效性，一致无偏性，有效性，一致性性无偏性无偏性：;有效性有效性：小，更有效小，更有效;一致性一致性：样本数本数N 趋于无于无穷时，依概率依概率趋于于01.最大似然估计最大似然估计(MaximumLikelihood,ML)u前提假前提假设：待估待估计的参数的参数是确定而未知的是

8、确定而未知的量；量；样本集可按本集可按类别分开，不同分开，不同类别的密度函数的参数分的密度函数的参数分别用用各各类的的样本集本集来来训练（K1，K2，,KC）。）。概率密度函数的形式已知概率密度函数的形式已知(p(x|i)，参数未知，参数未知，为了描了描述概率密度函数述概率密度函数p(x|i)与参数与参数的依的依赖关系，用关系，用p(x|i,)表示。表示。样本集本集Ki不包含关于不包含关于 的信息的信息 u解决的解决的问题（分（分别处理理c个独立的个独立的问题）：）：独立地按概率密度独立地按概率密度p(x|)抽取抽取样本集本集K=x1,x2,xN，用用K 估估计未知参数未知参数。似然函数似然函

9、数u已知某一已知某一类样类样本集包含本集包含N个个样样本，即本，即u似然函数：若似然函数：若 是独立地抽自密度函数是独立地抽自密度函数 总总体的体的样样本，那么似然函数就是本，那么似然函数就是u对数对数(loglarized)(loglarized)似然函数：似然函数：最大似然估计最大似然估计P48最大似然估计量：最大似然估计量：最大似最大似然估计然估计示意图示意图计算方法计算方法u最大似然估最大似然估计量使似然函数量使似然函数梯度为0：一元正态分布例解一元正态分布例解一元正态分布一元正态分布 一元正态分布均值的估计一元正态分布均值的估计一元正态分布方差的估计一元正态分布方差的估计多元正态分布

10、参数最大似然估计多元正态分布参数最大似然估计多元正态分布多元正态分布 2.Bayes估计和估计和Bayes学习学习（1 1）Bayes Bayes估计估计估计估计这里我们先回顾一下前面讲述的最小风险这里我们先回顾一下前面讲述的最小风险这里我们先回顾一下前面讲述的最小风险这里我们先回顾一下前面讲述的最小风险BayesBayesBayesBayes决策。决策。决策。决策。状态空间状态空间观察或测量到的观察或测量到的 d 维模式特征向量；维模式特征向量；决策空间决策空间 损失函数，表损失函数，表示真实状态为示真实状态为 而所采取的决策为而所采取的决策为 时所带来的某种时所带来的某种损失。损失。给定给

11、定 ，我们采取决策，我们采取决策 情况下的条件期望损失：情况下的条件期望损失：R表示采取决策表示采取决策 k总的平均损失。总的平均损失。R称为称为Bayes风险，使风险，使R最小的决策最小的决策 k称为称为Bayes决策。决策。是特征空间是特征空间 中取任意值的随机变量，条件风险的期望中取任意值的随机变量，条件风险的期望Bayes决策决策 确定确定 x 的真实状态的真实状态 i（模式类）（模式类）Bayes估计估计 根据一个样本集根据一个样本集 ，找出估，找出估计量计量 ，估计，估计 所属总体分布的某个真实参数所属总体分布的某个真实参数 ，使带，使带来的来的Bayes风险最小风险最小A令令 为

12、为 代替代替 所造成的损失，对于一个观测矢所造成的损失，对于一个观测矢量集合量集合 ，当用，当用 作为作为 的估计时，在的估计时，在观测观测 条件下的条件期望损失为条件下的条件期望损失为考虑到考虑到 的各种取值，我们应求的各种取值，我们应求 在状态空间在状态空间 中的期望中的期望 ，。Bayes估计的基本思想估计的基本思想：所求得的所求得的所求得的所求得的 的估计值的估计值的估计值的估计值 应使估计损失应使估计损失应使估计损失应使估计损失的期望最小，这种使的期望最小，这种使的期望最小，这种使的期望最小，这种使 或等价地使或等价地使或等价地使或等价地使 取最小值的取最小值的取最小值的取最小值的

13、的估的估的估的估计值计值计值计值 称为称为称为称为 的的的的BayesBayes估计。对于估计。对于估计。对于估计。对于 不同的不同的不同的不同的 ，可得到，可得到，可得到，可得到不同的最佳不同的最佳不同的最佳不同的最佳BayesBayes估计。估计。估计。估计。这里假定损失函数为平方误差，即这里假定损失函数为平方误差，即这里假定损失函数为平方误差，即这里假定损失函数为平方误差，即结论结论:的贝叶斯估计量的贝叶斯估计量 是在给定是在给定H时时 的条件期望的条件期望。由于由于由于由于 是关于是关于是关于是关于 的二次函数，的二次函数，的二次函数，的二次函数，确使确使确使确使 或或或或 最最最最小

14、。上式表明小。上式表明小。上式表明小。上式表明，的的的的BayesBayesBayesBayes估计是在观测估计是在观测估计是在观测估计是在观测 条件下条件下条件下条件下 的的的的 的条件期望。的条件期望。的条件期望。的条件期望。对对对对平方误差损失函数平方误差损失函数平方误差损失函数平方误差损失函数情况求解情况求解情况求解情况求解BayesBayesBayesBayes估计量的步骤如下：估计量的步骤如下：估计量的步骤如下：估计量的步骤如下：（1 1 1 1）确定）确定）确定）确定 的先验分布的先验分布的先验分布的先验分布 ；（2 2 2 2）由样本集）由样本集）由样本集）由样本集 求出样本联

15、合分布求出样本联合分布求出样本联合分布求出样本联合分布（3 3 3 3）求）求）求）求 的后验分布的后验分布的后验分布的后验分布（4 4 4 4）（2 2）Bayes Bayes学习学习学习学习(直接推断总体分布密度直接推断总体分布密度直接推断总体分布密度直接推断总体分布密度 )BayesBayesBayesBayes学习与学习与学习与学习与BayesBayesBayesBayes估计的前提条件是相同的，估计的前提条件是相同的，估计的前提条件是相同的，估计的前提条件是相同的，BayesBayesBayesBayes学习学习学习学习不是进行概率的参数估计，而是进行总体概率的推断以不是进行概率的参

16、数估计，而是进行总体概率的推断以不是进行概率的参数估计，而是进行总体概率的推断以不是进行概率的参数估计，而是进行总体概率的推断以获得获得获得获得 ，因此，它们具有某些相同的计算内容，也，因此，它们具有某些相同的计算内容，也，因此，它们具有某些相同的计算内容，也，因此，它们具有某些相同的计算内容，也有不同的计算目标。它们的前三步都是相同的，只是最有不同的计算目标。它们的前三步都是相同的，只是最有不同的计算目标。它们的前三步都是相同的，只是最有不同的计算目标。它们的前三步都是相同的，只是最后一步有所不同，后一步有所不同，后一步有所不同，后一步有所不同，BayesBayesBayesBayes学习最后一步为学习最后一步为学习最后一步为学习最后一步为在在 已知的条件下已知的条件下,H 对对 已不具有什么信息已不具有什么信息下面我们看一下最大似然估计与下面我们看一下最大似然估计与Bayes解的关系。解的关系。最大似然估计最大似然估计近似等于近似等于Bayes解（条件是解（条件是 在在 有尖有尖锐的凸峰）锐的凸峰）单变量正态分布函数的定义及性质单变量正态分布函数的定义及性质单变量正态分布函数的定义