朴素贝叶斯分类器应用.docx
《朴素贝叶斯分类器应用.docx》由会员分享，可在线阅读，更多相关《朴素贝叶斯分类器应用.docx（18页珍藏版）》请在冰豆网上搜索。
朴素贝叶斯分类器应用
朴素贝叶斯分类器的应用
作者：
阮一峰
日期：
2013年12月16日
生活中很多场合需要用到分类，比如新闻分类、病人分类等等。
本文介绍朴素贝叶斯分类器（NaiveBayesclassifier），它是一种简单有效的常用分类算法。
一、病人分类的例子
让我从一个例子开始讲起，你会看到贝叶斯分类器很好懂，一点都不难。
某个医院早上收了六个门诊病人，如下表。
症状 职业 疾病
打喷嚏 护士 感冒
打喷嚏 农夫 过敏
头痛 建筑工人 脑震荡
头痛 建筑工人 感冒
打喷嚏 教师 感冒
头痛 教师 脑震荡
现在又来了第七个病人，是一个打喷嚏的建筑工人。
请问他患上感冒的概率有多大？
根据贝叶斯定理：
P（A|B）=P（B|A）P（A）/P（B）
可得
P（感冒|打喷嚏x建筑工人）
=P（打喷嚏x建筑工人|感冒）xP（感冒）
/P（打喷嚏x建筑工人）
假定"打喷嚏"和"建筑工人"这两个特征是独立的，因此，上面的等式就变成了
P（感冒|打喷嚏x建筑工人）
=P（打喷嚏|感冒）xP（建筑工人|感冒）xP（感冒）
/P（打喷嚏）xP（建筑工人）
这是可以计算的。
P（感冒|打喷嚏x建筑工人）
=0.66x0.33x0.5/0.5x0.33
=0.66
因此，这个打喷嚏的建筑工人，有66%的概率是得了感冒。
同理，可以计算这个病人患上过敏或脑震荡的概率。
比较这几个概率，就可以知道他最可能得什么病。
这就是贝叶斯分类器的基本方法：
在统计资料的基础上，依据某些特征，计算各个类别的概率，从而实现分类。
二、朴素贝叶斯分类器的公式
假设某个体有n项特征（Feature），分别为F1、F2、...、Fn。
现有m个类别（Category），分别为C1、C2、...、Cm。
贝叶斯分类器就是计算出概率最大的那个分类，也就是求下面这个算式的最大值：
P（C|F1F2...Fn）
=P（F1F2...Fn|C）P（C）/P（F1F2...Fn）
由于P（F1F2...Fn）对于所有的类别都是相同的，可以省略，问题就变成了求
P（F1F2...Fn|C）P（C）
的最大值。
朴素贝叶斯分类器则是更进一步，假设所有特征都彼此独立，因此
P（F1F2...Fn|C）P（C）
=P（F1|C）P（F2|C）...P（Fn|C）P（C）
上式等号右边的每一项，都可以从统计资料中得到，由此就可以计算出每个类别对应的概率，从而找出最大概率的那个类。
虽然"所有特征彼此独立"这个假设，在现实中不太可能成立，但是它可以大大简化计算，而且有研究表明对分类结果的准确性影响不大。
下面再通过两个例子，来看如何使用朴素贝叶斯分类器。
三、账号分类的例子
本例摘自张洋的《算法杂货铺----分类算法之朴素贝叶斯分类》。
根据某社区网站的抽样统计，该站10000个账号中有89%为真实账号（设为C0），11%为虚假账号（设为C1）。
C0=0.89
C1=0.11
接下来，就要用统计资料判断一个账号的真实性。
假定某一个账号有以下三个特征：
F1:
日志数量/注册天数
F2:
好友数量/注册天数
F3:
是否使用真实头像（真实头像为1，非真实头像为0）
F1=0.1
F2=0.2
F3=0
请问该账号是真实账号还是虚假账号？
方法是使用朴素贝叶斯分类器，计算下面这个计算式的值。
P（F1|C）P（F2|C）P（F3|C）P（C）
虽然上面这些值可以从统计资料得到，但是这里有一个问题：
F1和F2是连续变量，不适宜按照某个特定值计算概率。
一个技巧是将连续值变为离散值，计算区间的概率。
比如将F1分解成[0,0.05]、（0.05,0.2）、[0.2,+∞]三个区间，然后计算每个区间的概率。
在我们这个例子中，F1等于0.1，落在第二个区间，所以计算的时候，就使用第二个区间的发生概率。
根据统计资料，可得：
P（F1|C0）=0.5,P（F1|C1）=0.1
P（F2|C0）=0.7,P（F2|C1）=0.2
P（F3|C0）=0.2,P（F3|C1）=0.9
因此，
P（F1|C0）P（F2|C0）P（F3|C0）P（C0）
=0.5x0.7x0.2x0.89
=0.0623
P（F1|C1）P（F2|C1）P（F3|C1）P（C1）
=0.1x0.2x0.9x0.11
=0.00198
可以看到，虽然这个用户没有使用真实头像，但是他是真实账号的概率，比虚假账号高出30多倍，因此判断这个账号为真。
四、性别分类的例子
本例摘自维基百科，关于处理连续变量的另一种方法。
下面是一组人类身体特征的统计资料。
性别 身高（英尺） 体重（磅） 脚掌（英寸）
男 6 180 12
男 5.92 190 11
男 5.58 170 12
男 5.92 165 10
女 5 100 6
女 5.5 150 8
女 5.42 130 7
女 5.75 150 9
已知某人身高6英尺、体重130磅，脚掌8英寸，请问该人是男是女？
根据朴素贝叶斯分类器，计算下面这个式子的值。
P（身高|性别）xP（体重|性别）xP（脚掌|性别）xP（性别）
这里的困难在于，由于身高、体重、脚掌都是连续变量，不能采用离散变量的方法计算概率。
而且由于样本太少，所以也无法分成区间计算。
怎么办？
这时，可以假设男性和女性的身高、体重、脚掌都是正态分布，通过样本计算出均值和方差，也就是得到正态分布的密度函数。
有了密度函数，就可以把值代入，算出某一点的密度函数的值。
比如，男性的身高是均值5.855、方差0.035的正态分布。
所以，男性的身高为6英尺的概率的相对值等于1.5789（大于1并没有关系，因为这里是密度函数的值，只用来反映各个值的相对可能性）。
“所以，男性的身高为6英尺的概率等于1.5789（大于1并没有关系，因为这里是密度函数的值）”——我理解是不是因为最终只是比较相对大小，做一个判定，所以直接采用密度函数的值作为概率值？
因为理论上连续变量取某一个具体值的概率都是无穷小。
有了这些数据以后，就可以计算性别的分类了。
P（身高=6|男）xP（体重=130|男）xP（脚掌=8|男）xP（男）
=6.1984xe-9
P（身高=6|女）xP（体重=130|女）xP（脚掌=8|女）xP（女）
=5.3778xe-4
可以看到，女性的概率比男性要高出将近10000倍，所以判断该人为女性。
（完）
朴素贝叶斯编辑
本词条缺少名片图，补充相关内容使词条更完整，还能快速升级，赶紧来编辑吧！
最为广泛的两种分类模型是决策树模型（DecisionTreeModel）和朴素贝叶斯模型（NaiveBayesianModel，NBM）。
中文名
朴素贝叶斯
外文名
NaiveBayesianModel
简 称
NBM
属 于
广泛的分类模型之一
1定义
2详细内容
3应用
4模型
1定义编辑
学过概率的同学一定都知道贝叶斯定理：
这个在250多年前发明的算法，在信息领域内有着无与伦比的地位。
贝叶斯分类是一系列分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。
朴素贝叶斯算法（NaiveBayesian）是其中应用最为广泛的分类算法之一。
朴素贝叶斯分类器基于一个简单的假定：
给定目标值时属性之间相互条件独立。
通过以上定理和“朴素”的假定，我们知道：
P（Category|Document）=P（Document|Category）*P（Category）/P（Document）[1]
2详细内容编辑
分类是将一个未知样本分到几个预先已知类的过程。
数据分类问题的解决是一个两步过程：
第一步,建立一个模型，描述预先的数据集或概念集。
通过分析由属性描述的样本（或实例，对象等）来构造模型。
假定每一个样本都有一个预先定义的类，由一个被称为类标签的属性确定。
为建立模型而被分析的数据元组形成训练数据集，该步也称作有指导的学习。
在众多的分类模型中，应用最为广泛的两种分类模型是决策树模型（DecisionTreeModel）和朴素贝叶斯模型（NaiveBayesianModel，NBC）。
决策树模型通过构造树来解决分类问题。
首先利用训练数据集来构造一棵决策树，一旦树建立起来，它就可为未知样本产生一个分类。
在分类问题中使用决策树模型有很多的优点，决策树便于使用，而且高效；根据决策树可以很容易地构造出规则，而规则通常易于解释和理解；决策树可很好地扩展到大型数据库中，同时它的大小独立于数据库的大小；决策树模型的另外一大优点就是可以对有许多属性的数据集构造决策树。
决策树模型也有一些缺点，比如处理缺失数据时的困难，过度拟合问题的出现，以及忽略数据集中属性之间的相关性等。
3应用编辑
和决策树模型相比，朴素贝叶斯分类器（NaiveBayesClassifier,或NBC）发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。
同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。
理论上，NBC模型与其他分类方法相比具有最小的误差率。
但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。
解决这个问题的方法一般是建立一个属性模型,对于不相互独立的属性,把他们单独处理。
例如中文文本分类识别的时候，我们可以建立一个字典来处理一些词组。
如果发现特定的问题中存在特殊的模式属性，那么就单独处理。
这样做也符合贝叶斯概率原理，因为我们把一个词组看作一个单独的模式，例如英文文本处理一些长度不等的单词，也都作为单独独立的模式进行处理，这是自然语言与其他分类识别问题的不同点。
实际计算先验概率时候，因为这些模式都是作为概率被程序计算，而不是自然语言被人来理解，所以结果是一样的。
在属性个数比较多或者属性之间相关性较大时，NBC模型的分类效率比不上决策树模型。
但这点有待验证，因为具体的问题不同，算法得出的结果不同，同一个算法对于同一个问题，只要模式发生变化，也存在不同的识别性能。
这点在很多国外论文中已经得到公认，在机器学习一书中也提到过算法对于属性的识别情况决定于很多因素，例如训练样本和测试样本的比例影响算法的性能。
决策树对于文本分类识别，要看具体情况。
在属性相关性较小时，NBC模型的性能稍微良好。
属性相关性较小的时候，其他的算法性能也很好，这是由于信息熵理论决定的。
4模型编辑
朴素贝叶斯模型：
----
Vmap=argmaxP（Vj|a1,a2...an）
Vj属于V集合
其中Vmap是给定一个example,得到的最可能的目标值.
其中a1...an是这个example里面的属性.
这里面,Vmap目标值,就是后面计算得出的概率最大的一个.所以用max来表示
----
贝叶斯公式应用到P（Vj|a1,a2...an）中.
可得到Vmap=argmaxP（a1,a2...an|Vj）P（Vj）/P（a1,a2...an）
又因为朴素贝叶斯分类器默认a1...an他们互相独立的.
所以P（a1,a2...an）对于结果没有用处.[因为所有的概率都要除同一个东西之后再比较大小,最后结果也似乎影响不大]
可得到Vmap=argmaxP（a1,a2...an|Vj）P（Vj）
然后
"朴素贝叶斯分类器基于一个简单的假定：
给定目标值时属性之间相互条件独立。
换言之。
该假定说明给定实例的目标值情况下。
观察到联合的a1,a2...an的概率正好是对每个单独属性的概率乘积：
P（a1,a2...an|Vj）=ΠiP（ai|Vj）
....
朴素贝叶斯分类器：
Vnb=argmaxP（Vj）ΠiP（ai|Vj）
"
Vnb=argmaxP（Vj）
此处Vj（yes|no），对应天气的例子。
算法杂货铺——分类算法之朴素贝叶斯分类（NaiveBayesianclassification）
2010-09-1713:
09byT2噬菌体, 77407 阅读, 41 评论, 收藏, 编辑
0、写在前面的话
我个人一直很喜欢算法一类的东西，在我看来算法是人类智慧的精华，其中蕴含着无与伦比的美感。
而每次将学过的算法应用到实际中，并解决了实际问题后，那种快感更是我在其它地方体会不到的。
一直想写关于算法的博文，也曾写过零散的两篇，但也许是相比于工程性文章来说太小众，并没有引起大家的兴趣。
最近面临毕业找工作，为了能给自己增加筹码，决定再次复习算法方面的知识，我决定趁这个机会，写一系列关于算法的文章。
这样做，主要是为了加强自己复习的效果，我想，如果能将复习的东西用自己的理解写成文章，势必比单纯的读书做题掌握的更牢固，也更能触发自己的思考。
如果能有感兴趣的朋友从中有所收获，那自然更好。
这个系列我将其命名为“算法杂货铺”，其原因就是这些文章一大特征就是“杂”，我不会专门讨论堆栈、链表、二叉树、查找、排序等任何一本数据结构教科书都会讲的基础内容，我会从一个“专题”出发，如概率算法、分类算法、NP问题、遗传算法等，然后做一个引申，可能会涉及到算法与数据结构、离散数学、概率论、统计学、运筹学、数据挖掘、形式语言与自动机等诸多方面，因此其内容结构就像一个杂货铺。
当然，我会竭尽所能，尽量使内容“杂而不乱”。
1.1、摘要
贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。
本文作为分类算法的第一篇，将首先介绍分类问题，对分类问题进行一个正式的定义。
然后，介绍贝叶斯分类算法的基础——贝叶斯定理。
最后，通过实例讨论贝叶斯分类中最简单的一种：
朴素贝叶斯分类。
1.2、分类问题综述
对于分类问题，其实谁都不会陌生，说我们每个人每天都在执行分类操作一点都不夸张，只是我们没有意识到罢了。
例如，当你看到一个陌生人，你的脑子下意识判断TA是男是女；你可能经常会走在路上对身旁的朋友说“这个人一看就很有钱、那边有个非主流”之类的话，其实这就是一种分类操作。
从数学角度来说，分类问题可做如下定义：
已知集合：
和
，确定映射规则
，使得任意
有且仅有一个
使得
成立。
（不考虑模糊数学里的模糊集情况）
其中C叫做类别集合，其中每一个元素是一个类别，而I叫做项集合，其中每一个元素是一个待分类项，f叫做分类器。
分类算法的任务就是构造分类器f。
这里要着重强调，分类问题往往采用经验性方法构造映射规则，即一般情况下的分类问题缺少足够的信息来构造100%正确的映射规则，而是通过对经验数据的学习从而实现一定概率意义上正确的分类，因此所训练出的分类器并不是一定能将每个待分类项准确映射到其分类，分类器的质量与分类器构造方法、待分类数据的特性以及训练样本数量等诸多因素有关。
例如，医生对病人进行诊断就是一个典型的分类过程，任何一个医生都无法直接看到病人的病情，只能观察病人表现出的症状和各种化验检测数据来推断病情，这时医生就好比一个分类器，而这个医生诊断的准确率，与他当初受到的教育方式（构造方法）、病人的症状是否突出（待分类数据的特性）以及医生的经验多少（训练样本数量）都有密切关系。
1.3、贝叶斯分类的基础——贝叶斯定理
每次提到贝叶斯定理，我心中的崇敬之情都油然而生，倒不是因为这个定理多高深，而是因为它特别有用。
这个定理解决了现实生活里经常遇到的问题：
已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P（A|B）的情况下如何求得P（B|A）。
这里先解释什么是条件概率：
表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。
其基本求解公式为：
。
贝叶斯定理之所以有用，是因为我们在生活中经常遇到这种情况：
我们可以很容易直接得出P（A|B），P（B|A）则很难直接得出，但我们更关心P（B|A），贝叶斯定理就为我们打通从P（A|B）获得P（B|A）的道路。
下面不加证明地直接给出贝叶斯定理：
1.4、朴素贝叶斯分类
1.4.1、朴素贝叶斯分类的原理与流程
朴素贝叶斯分类是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素，朴素贝叶斯的思想基础是这样的：
对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。
通俗来说，就好比这么个道理，你在街上看到一个黑人，我问你你猜这哥们哪里来的，你十有八九猜非洲。
为什么呢？
因为黑人中非洲人的比率最高，当然人家也可能是美洲人或亚洲人，但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。
朴素贝叶斯分类的正式定义如下：
1、设
为一个待分类项，而每个a为x的一个特征属性。
2、有类别集合
。
3、计算
。
4、如果
，则
。
那么现在的关键就是如何计算第3步中的各个条件概率。
我们可以这么做：
1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。
2、统计得到在各类别下各个特征属性的条件概率估计。
即
。
3、如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导：
因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。
又因为各特征属性是条件独立的，所以有：
根据上述分析，朴素贝叶斯分类的流程可以由下图表示（暂时不考虑验证）：
可以看到，整个朴素贝叶斯分类分为三个阶段：
第一阶段——准备工作阶段，这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。
这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。
这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段，其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。
第二阶段——分类器训练阶段，这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果记录。
其输入是特征属性和训练样本，输出是分类器。
这一阶段是机械性阶段，根据前面讨论的公式可以由程序自动计算完成。
第三阶段——应用阶段。
这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项，输出是待分类项与类别的映射关系。
这一阶段也是机械性阶段，由程序完成。
1.4.2、估计类别下特征属性划分的条件概率及Laplace校准
这一节讨论P（a|y）的估计。
由上文看出，计算各个划分的条件概率P（a|y）是朴素贝叶斯分类的关键性步骤，当特征属性为离散值时，只要很方便的统计训练样本中各个划分在每个类别中出现的频率即可用来估计P（a|y），下面重点讨论特征属性是连续值的情况。
当特征属性为连续值时，通常假定其值服从高斯分布（也称正态分布）。
即：
而
因此只要计算出训练样本中各个类别中此特征项划分的各均值和标准差，代入上述公式即可得到需要的估计值。
均值与标准差的计算在此不再赘述。
另一个需要讨论的问题就是当P（a|y）=0怎么办，当某个类别下某个特征项划分没有出现时，就是产生这种现象，这会令分类器质量大大降低。
为了解决这个问题，我们引入Laplace校准，它的思想非常简单，就是对没类别下所有划分的计数加1，这样如果训练样本集数量充分大时，并不会对结果产生影响，并且解决了上述频率为0的尴尬局面。
1.4.3、朴素贝叶斯分类实例：
检测SNS社区中不真实账号
下面讨论一个使用朴素贝叶斯分类解决实际问题的例子，为了简单起见，对例子中的数据做了适当的简化。
这个问题是这样的，对于SNS社区来说，不真实账号（使用虚假身份或用户的小号）是一个普遍存在的问题，作为SNS社区的运营商，希望可以检测出这些不真实账号，从而在一些运营分析报告中避免这些账号的干扰，亦可以加强对SNS社区的了解与监管。
如果通过纯人工检测，需要耗费大量的人力，效率也十分低下，如能引入自动检测机制，必将大大提升工作效率。
这个问题说白了，就是要将社区中所有账号在真实账号和不真实账号两个类别上进行分类，下面我们一步一步实现这个过程。
首先设C=0表示真实账号，C=1表示不真实账号。
1、确定特征属性及划分
这一步要找出可以帮助我们区分真实账号与不真实账号的特征属性，在实际应用中，特征属性的数量是很多的，划分也会比较细致，但这里为了简单起见，我们用少量的特征属性以及较粗的划分，并对数据做了修改。
我们选择三个特征属性：
a1：
日志数量/注册天数，a2：
好友数量/注册天数，a3：
是否使用真实头像。
在SNS社区中这三项都是可以直接从数据库里得到或计算出来的。
下面给出划分：
a1：
{a<=0.05,0.05=0.2}，a1：
{a<=0.1,0.1=0.8}，a3：
{a=0（不是）,a=1（是）}。
2、获取训练样本
这里使用运维人员曾经人工检测过的1万个账号作为训练样本。
3、计算训练样本中每个类别的频率
用训练样本中真实账号和不真实账号数量分别除以一万，得到：
4、计算每个类别条件下各个特征属性划分的频率
5、使用分类器进行鉴别
下面我们使用上面训练得到的分类器鉴别一个账号，这个账号使用非真实头像，日志数量与注册天数的比率为0.1，好友数与注册天数的比率为0.2。
可以看到
升级会员 