数据挖掘8朴素贝叶斯分类算法原理与实践.docx
《数据挖掘8朴素贝叶斯分类算法原理与实践.docx》由会员分享，可在线阅读，更多相关《数据挖掘8朴素贝叶斯分类算法原理与实践.docx（11页珍藏版）》请在冰豆网上搜索。
数据挖掘8朴素贝叶斯分类算法原理与实践
数据挖掘（8）:
朴素贝叶斯分类算法原理与实践
隔了很久没有写数据挖掘系列的文章了，今天介绍一下朴素贝叶斯分类算法，讲一下基
本原理，再以文本分类实践。
一个简单的例子
朴素贝叶斯算法是一个典型的统计学习方法，主要理论基础就是一个贝叶斯公式，贝叶
斯公式的基本定义如下：
咖呵耳）
5卜丿£p（r）p（^|y.）
j
这个公式虽然看上去简单，但它却能总结历史，预知未来。
公式的右边是总结历史，公
式的左边是预知未来，如果把Y看出类别，X看出特征，P（Yk|X）就是在已知特征X的情况下求Yk类别的概率，而对P（Yk|X）的计算又全部转化到类别Yk的特征分布上来。
举个例子，大学的时候，某男生经常去图书室晚自习，发现他喜欢的那个女生也常去那
个自习室，心中窃喜，于是每天买点好吃点在那个自习室蹲点等她来，可是人家女生不一定每天都来，眼看天气渐渐炎热，图书馆又不开空调，如果那个女生没有去自修室，
该男生也就不去，每次男生鼓足勇气说：
“嘿，你明天还来不？
”，“啊，不知道，看情
况”。
然后该男生每天就把她去自习室与否以及一些其他情况做一下记录，用Y表示该
女生是否去自习室，即Y=｛去，不去｝，X是跟去自修室有关联的一系列条件，比如当天上了哪门主课，蹲点统计了一段时间后，该男生打算今天不再蹲点，而是先预测一下她
P（Y=去|常微分方
会不会去，现在已经知道了今天上了常微分方法这么主课，于是计算
程）与P（Y=不去|常微分方程），看哪个概率大，如果P（Y=去|常微分方程）＞P（Y=不去|常微分方程），那这个男生不管多热都屁颠屁颠去自习室了，否则不就去自习室受罪了。
P（Y=去|常微分方程）的计算可以转为计算以前她去的情况下，那天主课是常微分的概率P（常微分方程|Y=去），注意公式右边的分母对每个类别（去/不去）都是一样的，所以计算的时候忽略掉分母，这样虽然得到的概率值已经不再是0〜1之间，但是其大小还
是能选择类别。
后来他发现还有一些其他条件可以挖，比如当天星期几、当天的天气，以及上一次与她在自修室的气氛，统计了一段时间后，该男子一计算，发现不好算了，因为总结历史的公式：
尸（X二詛丫二住）二尸（乳①二只久…去的二*叫丫二耳）
这里n=3,x
（1）表示主课，x
（2）表示天气，x（3）表示星期几，x⑷表示气氛，Y仍然是｛去,
不去｝，现在主课有8门，天气有晴、雨、阴三种、气氛有A+,A,B+,B，C五种，那么总共需要估计的参数有8*3*7*5*2=1680个，每天只能收集到一条数据，那么等凑齐1680条数据大学都毕业了，男生打呼不妙，于是做了一个独立性假设，假设这些影响她去自习室的原因是独立互不相关的，于是
P（X^xY
二兔）二P（无⑴二⑷二曲）|Y二q匸疔P（无⑵二凶）|"作
y=i
有了这个独立假设后，需要估计的参数就变为，（8+3+7+5）*2=46个了，而且每天收集的一条数据，可以提供4个参数，这样该男生就预测越来越准了
朴素贝叶斯分类器
讲了上面的小故事，我们来朴素贝叶斯分类器的表示形式:
P（Y=ck）Y]P（X<^=应”F二％）
k小呷晋心护十呷豎子（—命pao—wq
当特征为为x时，计算所有类别的条件概率，选取条件概率最大的类别作为待分类的类别。
由于上公式的分母对每个类别都是一样的，因此计算时可以不考虑分母，即
y-f（x）-argmaxp（y=）]^[p（^=.r
朴素贝叶斯的朴素体现在其对各个条件的独立性假设上，加上独立假设后，大大减少了
参数假设空间。
在文本分类上的应用
文本分类的应用很多，比如垃圾邮件和垃圾短信的过滤就是一个2分类问题，新闻分类、
文本情感分析等都可以看成是文本分类问题，分类问题由两步组成：
训练和预测，要建立一个分类模型，至少需要有一个训练数据集。
贝叶斯模型可以很自然地应用到文本分类上：
现在有一篇文档d（Document），判断它属于哪个类别ck，只需要计算文档d属于哪一个类别的概率最大:
在分类问题中，我们并不是把所有的特征都用上，对一篇文档d，我们只用其中的部分
特征词项（nd表示d中的总词条数目），因为很多词项对分类是没有价值的，比如一些停用词“的，是,在”在每个类别中都会出现，这个词项还会模糊分类的决策面，关于特征词的选取，我的这篇文章有介绍。
用特征词项表示文档后，计算文档d的类别转化为：
=argmaxj<7）=argn尸（叮5）
注意P（Ck|d）只是正比于后面那部分公式，完整的计算还有一个分母，但我们前面讨论了，对每个类别而已分母都是一样的，于是在我们只需要计算分子就能够进行分类了。
实际的计算过程中，多个概率值P（tj|ck）的连乘很容易下溢出为0，因此转化为对数计算，连乘就变成了累加：
argmax尸（qd）=argmax[log+乞logP（r.|c,）J%%
我们只需要从训练数据集中，计算每一个类别的出现概率P（ck）和每一个类别中各个特
征词项的概率P（tj|ck），而这些概率值的计算都采用最大似然估计，说到底就是统计每个词在各个类别中出现的次数和各个类别的文档的数目：
P（兮际）=
ik
其中，Nek表示训练集中ck类文档的数目，N训练集中文档总数；Tjk表示词项tj在类别ek中出现的次数，V是所有类别的词项集合。
这里对词的位置作了独立性假设，即两个词只要它们出现的次数一样，那不管它们在文档的出现位置，它们大概率值P（tj
|ek）都是一样，这个位置独立性假设与现实很不相符，比如“放马屁”跟“马放屁”表述的是不同的内容，但实践发现，位置独立性假设得到的模型准确率并不低，因为大多数文本分类都是靠词的差异来区分，而不是词的位置，如果考虑词的位置，那么问题将表达相当复杂，以至于我们无从下手。
然后需要注意的一个问题是ti可能没有出现在ek类别的训练集，却出现在ek类别的测试集合中，这样因为Tik为0，导致连乘概率值都为0，其他特征词出现得再多，该文档也不会被分到ek类别，而且在对数累加的情况下，0值导致计算错误，处理这种问
题的方法是采样加1平滑，即认为每个词在各个类别中都至少出现过一次，即
F面这个例子来自于参考文献1，假设有如下的训练集合测试集:
dodID
wordsindocumentinf—China?
trmrnrL耳set1
3
4
ChineseBei]in^Chineseves
ChineseChineseSh^n^haiyes
ChineseMdca（]ytb
IbkvoJapanChintzno
te^tset5
ChineseChineseChinese[bkvciJapan
现在要计算docID为5的测试文档是否属于China类别，首先计算个各类的概率，P（c
=China）=3/4,P（c!
=China）=1/4，然后计算各个类中词项的概率:
Pf'ChinesejcJ
P（Tokyo|r）=P1Japan|r）
P（ChineseJt）
P（Tokyo|F）=PiJapan|F）
=（5+1）/（8+6）=6/14=3/7
=（0+l>/（8+6）=1/14
=仃+1）/（3+6）=2/9
=（1+1）/（3+6）=2/9
注意分母（8+6）中8表示China类的词项出现的总次数是8，+6表示平滑，6是总
词项的个数，然后计算测试文档属于各个类别的概率：
P（c|d5）（K3/4-（3/7）3.1/141/14*0,0003.
P（可如ck1/4*（2/9）3*2/9-2/9^O.OOOL
可以看出该测试文档应该属于CHina类别
文本分类实践
我找了搜狗的搜狐新闻数据的历史简洁版，总共包括汽车、财经、it、健康等9类新闻,一共16289条新闻，搜狗给的数据是每一篇新闻用一个txt文件保存，我预处理了一下，把所有的新闻文档保存在一个文本文件中，每一行是一篇新闻，同时保留新闻的id，i
d的首字母表示类标，预处理并分词后的示例如下：
tags三一磴境®報名m经运束.而王一黄金哥H后的投名则讦始全】
2Hio^g离人我之所以将誉輕茁和宋全阳这蒔金悪人归到穷人-
3F202C新:
t化投记者韩冰I1SB〔*周六〉吗时•央视经济
：
&9S1如M坪空军招飞H作己幵皓预琏报名工作”荷合基本条件的学企
5E.79^詐天「记者从延庆八运岭特区力事处了迢聖”以舒轍三蘇呈住
€GA95大学毕业生妻找的只是—令工作・而不是职业・更不是事业
-H72现在我是个咸功的商人・可上世記八十年代-我晟个壮热得表
>C1421陌友：
我孚亲"年莉做了左乳疇手朮・大夫给他母亲开了-
G32O第说25歩一是女人幵始吒鱼星皱的年龄”養f紧张一一宜索张
我用6289条新闻作为训练集，剩余1万条用于测试，采用互信息进行文本特征的提取,总共提取的特征词是700个左右。
分类的结果如下：
8343100000.8343
总共10000条新闻，分类正确的8343条，正确率0.8343，这里主要是演示贝叶斯的
分类过程，只考虑了正确率也没有考虑其他评价指标，也没有进行优化。
贝叶斯分类的效率高，训练时，只需要扫描一遍训练集，记录每个词出现的次数，以及各类文档出现的次数，测试时也只需要扫描一次测试集，从运行效率这个角度而言，朴素贝叶斯的效率是最高的，而准确率也能达到一个理想的效果。
我的实现代码如下：
#!
encoding=utf-8
import
random
import
sys
import
math
import
collections
import
sys
dfefshuffle（）:
8”’将原来的文本打乱顺序，用于得到训练集和测试集
9datas=[line.strip（）forlineinsys.stdin]
10random.shuffle（datas）
11forlineindatas:
12
printline
1314
liables=['A','B','C','D','E','F','G','H',T]
1deflable2id（lable）:
17foriinxrange（len（lables））:
18iflable==lables[i]:
19returni
20raiseException（'Errorlable%s'%（lable））
21
2fefdocdict（）:
23return[0]*len（lables）
24
25efmutallnfo（N,Nij,Ni_,N_j）:
26#printN,Nij,Ni_,N_j
27returnNij*1.0/N*math.log（N*（Nij+1）*1.0/（Ni_*N」））/math.log
（2）
28
2fefcountForMI（）:
30'''基于统计每个词在每个类别岀现的次数，以及每类的文档数'''
31docCount=[0]*len（lables）#每个类的词数目
32wordCount=collections.defaultdict（docdict）
33
forline
insys.stdin:
34
lable,text
=line.strip（）.split（''
1）
35
index
=lable2id（lable[
0]）
36
words
=text.split（'
'）
37
for
wordinwords:
38
wordCount[word][index]
+=1
39
docCount[index]
+=1
40
41miDict=collections.defaultdict（docdict）#互信息值
42N
=sum（docCount）
43
fork,vs
inwordCount.items（）:
44
for
iinxrange（len（vs））:
45
N11
=vs[i]
46
N10
=sum（vs）-N11
47
N01
=docCount[i]-
N11
48
N00
=N-N11-N10-
N01
49
mi
=mutalInfo（N,N11,N10+N11,N01+N11）
5€lmutalInfo（N,N10,N10+N11,N00+N10）+mutallnfo（N,N01,N01+N11,N01+N00）+mutallnfo（N,N00
5N00+N10,N00+N01）
52miDict[k][i]=mi
53fWords
=set（）
54
fori
inxrange（len（docCount））:
55
keyf
=lambdax:
x[1][i]
56
sortedDict=sorted（miDict.items（）,key
=keyf,reverse=True）
58fWords.add（sortedDict[j][0]）
59printdocCount#打印各个类的文档数目
60forfwordinfWords:
61printfword
62
63
64efloadFeatureWord（）:
65”’导入特征词”’
66f=open（'feature.txt'）
67docCounts=eval（f.readline（））
68features=set（）
69forlineinf:
70features.add（line.strip（））
71f.close（）
72returndocCounts,features
73
74efMainBayes（）:
75”’训练贝叶斯模型，实际上计算每个类中特征词的岀现次数
76docCounts,features=loadFeatureWord（）
77wordCount=collections.defaultdict（docdict）
78tCount=[0]*len（docCounts）#每类文档特征词出现的次数
79forlineinsys.stdin:
80
lable,text=line.strip（）.split（
81
index=lable2id（lable[0]）
82
words=text.split（''）
83
forwordinwords:
84
ifwordinfeatures:
85
tCount[index]
+=1
86
wordCount[word][index]
87
fork,vinwordCount.items（）:
88
scores=[（v[i]
+1）*1.0/（tCount[i]
819平滑
90
print'%s\t%s'
%（k,scores）
91
9fefloadModel（）:
93
”’导入贝叶斯模型
III
94f
=open（'model.txt'
）
95scores={}
96
forlineinf:
97
word,counts
=line.strip（）.rsplit（
98
scores[word]
=eval（counts）
'\t',1）
1）
+=1
+len（wordCount））foriinxrange（len（v））]#力口
99f.close（）
100returnscores
10110defpredict。
:
103”’预测文档的类标，标准输入每一行为一个文档
107rCount=0
108docCount=0
109
forlineinsys.stdin:
114forwordinwords:
115
ifwordinfeatures:
foriinxrange（len（preValues））:
118m=max（preValues）
119pIndex
=preValues.index（m）
120ifpIndex==index:
121rCount+=1
122printlable,lables[plndex],text
123docCount+=1
124printrCount,docCount,rCount*1.0/docCount
125
125127__name_=="__main__"128#shuffle（）#countForMI（）#trainBayes（）predict（）
main方法，比如计算特
代码里面，计算特征词与训练模型、测试是分开的，需要修改征词:
$fcattrain.txt|pythonbayes.py>feature.txt
训练模型：
$fcattrain.txt|pythonbayes.py>model.txt
预测模型：
$Cattest.txt|pythonbayes.py>predict.out
总结
本文介绍了朴素贝叶斯分类方法，还以文本分类为例，给出了一个具体应用的例子，朴
素贝叶斯的朴素体现在条件变量之间的独立性假设，应用到文本分类上，作了两个假设,
一是各个特征词对分类的影响是独立的，另一个是词项在文档中的顺序是无关紧要的。
朴素贝叶斯的独立性假设在实际中并不成立，但在分类效上依然不错，加上独立性假设
后，对与属于类ck的谋篇文档d，其p（ck|d）往往会估计过高，即本来预期p（ck|d）=0.
55,而朴素贝叶斯却计算得到p（ck|d）=0.99，但这并不影响分类结果，这是朴素贝叶斯分类器在文本分类上效果优于预期的原因。
升级会员 