贝叶斯分类分类算法.ppt

贝叶斯分类分类算法.ppt

《贝叶斯分类分类算法.ppt》由会员分享，可在线阅读，更多相关《贝叶斯分类分类算法.ppt（29页珍藏版）》请在冰豆网上搜索。

实验3：

贝叶斯分类分类算法实验3：

贝叶斯分类分类算法实验目的：

1.掌握贝叶斯分类算法2.熟悉C+编程3.数据集见下图：

背景知识朴素贝叶斯分类朴素贝叶斯分类的工作过程如下：

（1）每个数据样本用一个n维特征向量X=x1，x2，xn表示，分别描述对n个属性A1，A2，An样本的n个度量。

（2）假定有m个类C1，C2，Cm，给定一个未知的数据样本X（即没有类标号），分类器将预测X属于具有最高后验概率（条件X下）的类。

也就是说，朴素贝叶斯分类将未知的样本分配给类Ci（1im）当且仅当P（Ci|X）P（Cj|X），对任意的j=1，2，m，ji。

这样，最大化P（Ci|X）。

其P（Ci|X）最大的类Ci称为最大后验假定。

根据贝叶斯定理6朴素贝叶斯分类（续）（3）由于P（X）对于所有类为常数，只需要P（X|Ci）*P（Ci）最大即可。

如果Ci类的先验概率未知，则通常假定这些类是等概率的，即P（C1）=P（C2）=P（Cm），因此问题就转换为对P（X|Ci）的最大化（P（X|Ci）常被称为给定Ci时数据X的似然度，而使P（X|Ci）最大的假设Ci称为最大似然假设）。

否则，需要最大化P（X|Ci）*P（Ci）。

注意，类的先验概率可以用P（Ci）=si/s计算，其中si是类Ci中的训练样本数，而s是训练样本总数。

7朴素贝叶斯分类（续）（4）给定具有许多属性的数据集，计算P（X|Ci）的开销可能非常大。

为降低计算P（X|Ci）的开销，可以做类条件独立的朴素假定。

给定样本的类标号，假定属性值相互条件独立，即在属性间，不存在依赖关系。

这样联合概率分布联合概率分布27十月2022DMKDSidesByMAO8朴素贝叶斯分类（续）（5）对未知样本X分类，也就是对每个类Ci，计算P（X|Ci）*P（Ci）。

样本X被指派到类Ci，当且仅当P（Ci|X）P（Cj|X），1jm，ji，换言之，X被指派到其P（X|Ci）*P（Ci）最大的类。

9贝叶斯分类BayesianClassifiersApproach:

computetheposteriorprobabilityP（C|A1,A2,An）forallvaluesofCusingtheBayestheoremChoosevalueofCthatmaximizesP（C|A1,A2,An）EquivalenttochoosingvalueofCthatmaximizesP（A1,A2,An|C）P（C）HowtoestimateP（A1,A2,An|C）?

NaveBayesClassifierAssumeindependenceamongattributesAiwhenclassisgiven:

P（A1,A2,An|C）=P（A1|Cj）P（A2|Cj）P（An|Cj）0CanestimateP（Ai|Cj）forallAiandCj.NewpointisclassifiedtoCjifP（Cj）P（Ai|Cj）ismaximal.对比决策树分类整棵决策树就对应着一组析取表达式规则。

知识回顾贝叶斯知识贝叶斯知识1.样本空间的划分样本空间的划分二、全概率公式二、全概率公式2.全概率公式全概率公式全概率公式全概率公式图示图示证明证明化整为零化整为零各个击破各个击破说明说明全概率公式的主要用途在于它可以将一个全概率公式的主要用途在于它可以将一个复杂事件的概率计算问题复杂事件的概率计算问题,分解为若干个简单事件分解为若干个简单事件的概率计算问题的概率计算问题,最后应用概率的最后应用概率的可加性可加性求出最终求出最终结果结果.例例11有一批同一型号的产品有一批同一型号的产品,已知其中由一厂生产已知其中由一厂生产的占的占30%,二厂生产的占二厂生产的占50%,三厂生产的占三厂生产的占20%,又知这三个厂的产品次品率分别为又知这三个厂的产品次品率分别为2%,1%,1%,问从这批产品中任取一件是次品的概率是多少问从这批产品中任取一件是次品的概率是多少?

设事件设事件A为为“任取一件为次品任取一件为次品”,解解由全概率公式得由全概率公式得30%20%50%2%1%1%AB1B2B3称此为称此为贝叶斯公式贝叶斯公式.3.贝叶斯公式贝叶斯公式Bayes公式的意义Bayes公式，其意义是：

假设导致事件A发生的“原因”有Bi（i=1,2,n）个。

它们互不相容。

现已知事件A确已经发生了，若要估计它是由“原因”Bi所导致的概率，则可用Bayes公式求出.即可从结果分析原因.证明证明条件概率条件概率的概念的概念乘法定理：

乘法定理：

例例22贝叶斯公式的应用贝叶斯公式的应用解解

（1）由由全概率公式得全概率公式得

（2）由由贝叶斯公式得贝叶斯公式得由以往的数据分析得到由以往的数据分析得到的的概率概率,叫做叫做先验先验概率概率.而在得到而在得到信息之后再重新加以修正的概率信息之后再重新加以修正的概率0.97叫做叫做后验概率后验概率.先验概率与后验概率先验概率与后验概率