Fisher准则线性分类器设计.docx

1、Fisher准则线性分类器设计一 、基于Fisher准则线性分类器设计1、 实验内容：已知有两类数据和二者的概率已知=0.6， =0.4。中数据点的坐标对应一一如下： 数据：x = 0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0

2、.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099y = 2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235

3、2.2604z = 0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.8784 0.9751 0.7840 0.4158 1.0315 0.7533 0.9548数据点的对应的三维坐标为x2 = 1.4010 1.2301 2.0814 1

4、.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414y2 = 1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8050 1.2

5、889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288z2 = 0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.1408 0.939

6、8 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458数据的样本点分布如下图：1) 请把数据作为样本，根据Fisher选择投影方向的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，求出评价投影方向的函数，并在图形表示出来。并在实验报告中表示出来，并求使取极大值的。用matlab完成Fisher线性分类器的设计，程序的语句要求有注

7、释。2) 根据上述的结果并判断（1，1.5，0.6）(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)，（0.23，2.33，1.43），属于哪个类别，并画出数据分类相应的结果图，要求画出其在上的投影。3) 回答如下问题，分析一下的比例因子对于Fisher判别函数没有影响的原因。2、实验代码x1 =0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.

8、3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099;x2 =2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.725

9、9 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604;x3 =0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.87840

10、.9751 0.7840 0.4158 1.0315 0.7533 0.9548;%将x1、x2、x3变为行向量x1=x1(:);x2=x2(:);x3=x3(:);%计算第一类的样本均值向量m1m1(1)=mean(x1);m1(2)=mean(x2);m1(3)=mean(x3);%计算第一类样本类内离散度矩阵S1S1=zeros(3,3);for i=1:36 S1=S1+-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)*-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i);end%w2的数据点坐标x4 =1.4010 1.2301 2

11、.0814 1.1655 1.3740 1.1829 1.7632 1.9739 2.4152 2.5890 2.8472 1.9539 1.2500 1.2864 1.2614 2.0071 2.1831 1.7909 1.3322 1.1466 1.7087 1.5920 2.9353 1.4664 2.9313 1.8349 1.8340 2.5096 2.7198 2.3148 2.0353 2.6030 1.2327 2.1465 1.5673 2.9414;x5 =1.0298 0.9611 0.9154 1.4901 0.8200 0.9399 1.1405 1.0678 0.8

12、050 1.2889 1.4601 1.4334 0.7091 1.2942 1.3744 0.9387 1.2266 1.1833 0.8798 0.5592 0.5150 0.9983 0.9120 0.7126 1.2833 1.1029 1.2680 0.7140 1.2446 1.3392 1.1808 0.5503 1.4708 1.1435 0.7679 1.1288;x6 =0.6210 1.3656 0.5498 0.6708 0.8932 1.4342 0.9508 0.7324 0.5784 1.4943 1.0915 0.7644 1.2159 1.3049 1.140

13、8 0.9398 0.6197 0.6603 1.3928 1.4084 0.6909 0.8400 0.5381 1.3729 0.7731 0.7319 1.3439 0.8142 0.9586 0.7379 0.7548 0.7393 0.6739 0.8651 1.3699 1.1458;x4=x4(:);x5=x5(:);x6=x6(:);%计算第二类的样本均值向量m2m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);%计算第二类样本类内离散度矩阵S2S2=zeros(3,3);for i=1:36 S2=S2+-m2(1)+x4(i) -m2

14、(2)+x5(i) -m2(3)+x6(i)*-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i);end%总类内离散度矩阵SwSw=zeros(3,3);Sw=S1+S2;%样本类间离散度矩阵SbSb=zeros(3,3);Sb=(m1-m2)*(m1-m2);%最优解WW=Sw-1*(m1-m2)%将W变为单位向量以方便计算投影W=W/sqrt(sum(W.2);%计算一维Y空间中的各类样本均值M1及M2for i=1:36 y(i)=W*x1(i) x2(i) x3(i);endM1=mean(y);for i=1:36 y(i)=W*x4(i) x5(i) x6

15、(i);endM2=mean(y);%利用当P(w1)与P(w2)已知时的公式计算W0p1=0.6;p2=0.4;W0=-(M1+M2)/2+(log(p2/p1)/(36+36-2);%计算将样本投影到最佳方向上以后的新坐标 X1=x1*W(1)+x2*W(2)+x3*W(3);X2=x4*W(1)+x5*W(2)+x6*W(3); %得到投影长度XX1=W(1)*X1;W(2)*X1;W(3)*X1;XX2=W(1)*X2;W(2)*X2;W(3)*X2; %得到新坐标%绘制样本点figure(1);plot3(x1,x2,x3,r*); %第一类hold onplot3(x4,x5,x6

16、,gp) ; %第二类legend(第一类点,第二类点);title(Fisher线性判别曲线);W1=5*W; %画出最佳方向 line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),color,g); %判别已给点的分类 a1=1,1.5,0.6;a2=1.2,1.0,0.55;a3=2.0,0.9,0.68;a4=1.2,1.5,0.89;a5=0.23,2.33,1.43;A=a1 a2 a3 a4 a5;n=size(A,2); %下面代码在改变样本时可不修改%绘制待测数据投影到最佳方向上的点for k=1:n A1=A(:,k)*W; A11=W*A

17、1;%得到待测数据投影 y=W*A(:,k)+W0; %计算后与0相比以判断类别，大于0为第一类，小于0为第二类 if y0 plot3(A(1,k),A(2,k),A(3,k),ro); %点为rp对应第一类 plot3(A11(1),A11(2),A11(3),ro); %投影为r+对应ro类 else plot3(A(1,k),A(2,k),A(3,k),ch); %点为bh对应ch类 plot3(A11(1),A11(2),A11(3),ch); %投影为b*对应ch类 endend%画出最佳方向 line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),

18、color,m); view(-37.5,30);axis(-2,3,-1,3,-0.5,1.5);grid onhold off3、实验结果根据求出最佳投影方向，然后按照此方向，将待测数据进行投影。为直观起见，我们将两步画在一张图上，如下：其中，红色的*是给出的第一类样本点，蓝色的五角星是第二类样本点。下方的实直线是最佳投影方向。待测数据投影在其上，圆圈是被分为第一类的样本点，十字是被分为第二类的样本点。使取极大值的W= （ -0.0798 ， 0.2005 ， -0.0478）4、实验分析W的比例因子对于Fisher判别函数没有影响的原因：在本实验中，最需要的是W的方向，或者说是在此方向上

19、数据的投影，那么W的比例因子，即它是单位向量的多少倍长就无关紧要了，不管比例因子有多大，在最后求投影时都会被消掉而起不到实际作用。二、Bayes分类器设计1、实验内容假定某个局部区域细胞识别中正常（）和非正常（）两类先验概率分别为正常状态：P（）=0.9；异常状态：P（）=0.1。现有一系列待观察的细胞，其观察值为：-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752 -3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682-1

20、.5799 -1.4885 -0.7431 -0.4221 -1.1186 4.2532 已知先验概率是的曲线如下图：类条件概率分布正态分布分别为（-2，0.25）（2,4）试对观察的结果进行分类。1) 用matlab完成分类器的设计，要求程序相应语句有说明文字，要求有子程序的调用过程。2) 根据例子画出后验概率的分布曲线以及分类的结果示意图。3) 如果是最小风险贝叶斯决策，决策表如下：最小风险贝叶斯决策表：状态决策106210请重新设计程序，画出相应的后验概率的分布曲线和分类结果,并比较两个结果。2、实验代码2.1最小错误率贝叶斯决策(m1.m)x=-3.9847 -3.5549 -1.24

21、01 -0.9780 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752-3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682-1.5799 -1.4885 0.7431 -0.4221 -1.1186 4.2532 pw1=0.9; pw2=0.1;e1=-2; a1=0.5;e2=2;a2=2;m=numel(x); %得到待测细胞个数pw1_x=zeros(1,m); %存放对w1的后验概率矩阵pw2_x=zeros(1,m); %存放对w2的后验概率矩阵results=zeros

22、(1,m); %存放比较结果矩阵for i = 1:m%计算在w1下的后验概率 pw1_x(i)=(pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2) ;%计算在w2下的后验概率pw2_x(i)=(pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2) ;endfor i = 1:m if pw1_x(i)pw2_x(i) %比较两类后验概率 result(i)=0; %正常细胞 else result(i)=1

23、; %异常细胞 endenda=-5:0.05:5; %取样本点以画图n=numel(a);pw1_plot=zeros(1,n);pw2_plot=zeros(1,n);for j=1:npw1_plot(j)=(pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2);%计算每个样本点对w1的后验概率以画图pw2_plot(j)=(pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2);endfigure(1);h

24、old onplot(a,pw1_plot,co,a,pw2_plot,r-.);for k=1:m if result(k)=0 plot(x(k),-0.1,cp); %正常细胞用五角星表示 else plot(x(k),-0.1,r*); %异常细胞用*表示 end;end;legend(正常细胞后验概率曲线,异常细胞后验概率曲线,正常细胞,异常细胞);xlabel(样本细胞的观察值);ylabel(后验概率);title(后验概率分布曲线);grid onreturn %实验内容仿真：x = -3.9847, -3.5549,-1.2401,-0.9780, -0.7932, -2.8

25、531,-2.7605, -3.7287, -3.5414 , -2.2692,-3.4549,-3.075,-3.9934,2.8792,-0.9780,0.7932,1.1882 ,3.0682,-1.5799,-1.4885,-0.7431,-0.4221,-1.1186, 4.2532 disp(x);pw1=0.9;pw2=0.1;result=bayes(x,pw1,pw2);2.2最小风险贝叶斯决策(m2.m)x=-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414 -2.2692 -3.4

26、549 -3.0752-3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682-1.5799 -1.4885 0.7431 -0.4221 -1.1186 4.2532 pw1=0.9; pw2=0.1;m=numel(x); %得到待测细胞个数R1_x=zeros(1,m); %存放把样本X判为正常细胞所造成的整体损失R2_x=zeros(1,m); %存放把样本X判为异常细胞所造成的整体损失result=zeros(1,m); %存放比较结果e1=-2;a1=0.5;e2=2;a2=2;%类条件概率分布px_w1:（-2，0.25） px_w2（2,4）r11

27、=0;r12=2;r21=4;r22=0;%风险决策表for i=1:m %计算两类风险值R1_x(i)=r11*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)+r21*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2); R2_x(i)=r12*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)+r22*pw2

28、*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2);endfor i=1:m if R2_x(i)R1_x(i) %第二类比第一类风险大 result(i)=0; %判为正常细胞（损失较小），用0表示 else result(i)=1; %判为异常细胞，用1表示 end enda=-5:0.05:5 ; %取样本点以画图n=numel(a);R1_plot=zeros(1,n);R2_plot=zeros(1,n);for j=1:n R1_plot(j)=r11*pw1*normpdf(a(j),e1,a

29、1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)+r21*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2) R2_plot(j)=r12*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)+r22*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)%计算各样本点

30、的风险以画图endfigure(1);hold onplot(a,R1_plot,co,a,R2_plot,r-.);for k=1:m if result(k)=0 plot(x(k),-0.1,cp);%正常细胞用五角星表示 else plot(x(k),-0.1,r*);%异常细胞用*表示 end;end;legend(正常细胞,异常细胞,Location,Best);xlabel(细胞分类结果);ylabel(条件风险);title(风险判决曲线);grid onreturn%实验内容仿真：x = -3.9847, -3.5549,-1.2401,-0.9780, -0.7932, -2.8531,-2.7605, -3.7287, -3.5414 , -2.2692,-3.4549,-3.075,-3.9934