贝叶斯最大后验概率准则对iris大数据地分类Word文档下载推荐.docx
《贝叶斯最大后验概率准则对iris大数据地分类Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《贝叶斯最大后验概率准则对iris大数据地分类Word文档下载推荐.docx(25页珍藏版)》请在冰豆网上搜索。
![贝叶斯最大后验概率准则对iris大数据地分类Word文档下载推荐.docx](https://file1.bdocx.com/fileroot1/2022-12/13/1970ad3f-37e6-479c-aab4-159654f508f7/1970ad3f-37e6-479c-aab4-159654f508f71.gif)
即:
因此根据最大后验概率准则判断x所属的类别,转变为比较似然比和阈值的大小。
实验中首先求得两类数据的条件概率密度和,关于先验概率,实验进行时,将待分类的两组数据合并放入一个100*4的矩阵中,每次随机选取待分类数据x,因此先验概率
故而,判别式(8)简化为:
因此,根据上式即可对输入向量x进行分类。
如果则判别x为类(第一类)同理
如果则判别x为类(第二类)
3、实验过程
实验中,根据实验原理,首先对两组数据分别进行训练,得到其四维正态分布的密度函数,再根据最大后验概率准则进行分类。
3.1参数估计
已知三组数据均为的四元正态分布,即
其中,为均值向量,B为协方差矩阵,和均为四维列向量。
根据式
(2)和(3)对每组数据的均值向量和协方差矩阵进行估计。
参数估计即选取部分数据进行训练,数据可以采用随机选取的方式,也可以从开始固定的选取若干数据进行训练。
同时,参与训练的数据多少也会影响最后的分类结果。
实验中尝试了不同的选取方法,结果如下:
(1)从前向后依次选取10个数据进行训练:
(2)从前向后依次选取15个数据进行训练:
(3)从前向后依次选取20个数据进行训练:
(4)从前向后依次选取25个数据进行训练:
(5)随机选取15个数据进行训练:
(6)随机选取20个数据进行训练:
3.2贝叶斯分类
学习分类时,本实验中,将待分类的两类数据合并为一个矩阵test,然后每次随机的从test矩阵中抽取一维向量进行分类判别。
因此先验概率满足
所以,实验中只需要根据估计的参数得出两类的概率密度函数
对于输入的列向量x带入上面两个公式中进行计算,则x归入概率大的一类。
下面以第一类和第二类分类为例进行说明:
实验中,
m:
表示参与训练的数据个数,进行分类学习时
t:
表示每次学习的次数,实验置为10000,即每次随机选取10000次x进行分类
test矩阵:
将待分类的两组数据合并为一个矩阵test,之后随机的从test矩阵中选择输入向量,保证先验概率相等
W向量:
表示随机选择的输入向量的位置,若W(i)<
51则说明此时的输入向量来自第一类,W(i)>
50则说明此时的输入向量来自第二类
set向量:
输入的x判别属于第一类,则将set的相应位置1,否则置0
ver向量:
输入的x判别属于第二类,则将ver的相应位置1,否则置0
最后比较W向量和set向量、ver向量,若选择于第一类(W(i)<
51)也判别为第一类(set(i)=1),则说明判别正确。
第二类同理。
部分框图如下所示:
相应部分代码如下:
最后,统计set向量和ver向量中不为0的元素个数即在10000次学习分类时错误的次数。
进行分类实验时,考虑到两方面的影响:
(1)参数估计时训练样本的选取方式不同,分为固定选取样本和随机选取样本
(2)参数估计时选取的样本数目
同时,实验中,每次分类相当于进行10000次判别,由于选择输入矢量时具有随机性,因此针对同一m(m表示参与训练的样本数目),各进行10次实验进行比较。
3.2.1第一类与第二类(即setosa和versicolou)
(1)当训练样本从前向后固定选取时:
次数
1
2
3
4
5
6
7
8
9
10
m=6
错误个数
错误率
m=10
m=15
当训练样本固定选取时,当参与训练的样本个数分别为为6,10,15,均不会产生错误。
(2)当训练样本随机选取时
1824
702
213
109
2027
495
1904
18.24%
7.02%
2.13%
1.09%
20.27%
4.95%
19.04%
当训练样本随机选取时:
m=6时平均错误率为:
7.274%
m=10时平均错误率为:
0.109%
m=15时平均错误率为:
3.2.2第一类与第三类(即setosa和virginica)
3997
1025
720
950
39.97%
10.25%
7.2%
9.5%
6.634%
3.2.3第二类与第三类(即versicolou和virginica)
410
397
413
369
389
409
430
416
387
363
4.1%
3.97%
4.13%
3.69%
3.89%
4.09%
4.3%
4.16%
3.87%
3.63%
626
622
561
613
677
610
605
614
555
6.26%
6.22%
5.61%
6.13%
6.77%
6.1%
6.05%
6.14%
5.55%
399
396
355
434
431
393
406
3.99%
3.96%
3.55%
4.34%
4.31%
3.93%
4.06%
m=50
325
285
323
298
299
302
306
315
288
308
3.25%
2.85%
3.23%
2.98%
2.99%
3.02%
3.06%
3.15%
2.88%
3.08%
当训练样本固定选取时:
3.983%
6.096%
4.038%
m=50时平均错误率为:
3.049%
637
3478
2000
504
1510
891
4250
2046
1000
1185
6.37%
34.78%
20%
5.04%
15.1%
8.91%
42.5%
20.46%
10%
11.85%
901
984
889
1260
382
1136
1130
959
780
920
9.01%
9.84%
8.89%
12.6%
3.82%
11.36%
11.3%
9.59%
7.8%
9.2%
478
328
726
531
100
657
395
286
740
692
4.78%
3.28%
7.26%
5.31%
1%
6.57%
3.95%
2.86%
7.4%
6.92%
408
221
319
374
88
403
444
310
202
4.08%
2.21%
3.19%
3.74%
0.88%
4.03%
4.44%
3.1%
2.02%
17.471%
9.341%
4.933%
2.982%
4、实验分析
实验中,第一部分为参数估计,从实验中可得,以训练样本固定选取,样本个数m=20为例:
从中可以看出,第一类和第二类,第一类和第三类相比较而言,均值向量和协方差矩阵均相差较大,即正态分布的形式差距较大,因此第一类较容易和其余两类分类。
相比较而言,第二类和第三类的均值向量和协方差矩阵相近,因此其对应的正态分布相似,所以第二组数据和第三组会比较难区分,这一点在后面的实验中也有反映。
实验第二部分,在进行分类学习时,得到在样本选取方式不同和样本数目不同的情况下的分类错误率,汇总如下:
(1)
表一第一类与第二类分类结果
第一类与第二类
固定样本参数估计
随机样本参数估计
从中可以看出,当参数估计的样本按照顺序固定选取时,在很小的样本数目下即可得到很好的分类结果。
当样本随机选取时,在样本数目较少时会有一定的错误率,但是随着样本数目的增加,错误率降低。
(2)
表二第一类与第三类分类结果
第一类与第三类
从中可以得到与上面相似的结论,同时,比较表一和表二可以发现,在随机样本参数估计的情况下,表二所展示的错误率更低,说明相较第二类数据而言,第一类与第三类数据的差别更大,更易分类。
(3)
表三第二类与第三类分类结果
第二类与第三类
17.471%
9.341%
4.933%
2.982%
从中可以看出,第二类数据与第三类数据不论在什么情况下,分类错误率都较大。
甚至当用所有的数据进行参数估计时(m=50),分类结果仍然会有错误。
由此可见,这两组数据较为相似,难以分类。
这一点也从上面计算其正态分布的的参数可以想见。
5、实验结果
实验得出,第一组数据与第二组数据较易分类,当训练样本数目在10左右时就能得到较高的正确率,进而当训练样本数目为15时几乎不出错。
第一组数据与第二组数据更容易分类,当训练样本数目为10时几乎就不出错。
但同时,第二组数据由于与第三组数据过于相似,所以很难分类。