神经网络指导.docx

1、神经网络指导第三部分 神经网络控制技术一 感知机1) 感知机概念感知机是最早被设计并被实现的人工神网络。感知器是一种非常特殊的神经网络，它在人工神经网络的发展历史上有着非常重要的地位，尽管它的能力非常有限，主要用于线性分类。图1 单神经元结构模型概念： （P125）x1xn为输入信号； w1.wn表示连接权系数，即权值，连接权； y为输出；为阈值（阀值）； 模型可描述为： 响应函数为：或f()也称为变换函数，活化函数(activation function)，激发函数。 2）感知器的工作方式：学习阶段修改权值（例：根据“已知的样本”对权值不断修改；有导师学习）工作阶段 计算单元变化，由响应函数

2、给出新输入下的输出。感知机的学习算法样本：XX1， X2 Xp Yy1， y2 yp学习的过程，主要根据“样本”来修正权值，阈值3）响应函数（激活函数）响应函数（激活函数）的基本作用：（1）.控制输入对输出的激活作用；（2）.对输入、输出进行函数转换；（3）.将可能无限域的输入变换成指定的有限范围内的输出。 1).阈值单元 单层感知器： 两个输入 x1 和 x2 。 一个阈值（阀值） 两个待调整的权值W1和W2 决策函数为 样本集分别属于2类。4）工作阶段理解的例题x1为考试成绩、x2为平时成绩，将x1、x2作为两个输入，构建两输入、单输出的感知机实现成绩评定系统其权值w1=0.7、w2=0.

3、3，阈值=60。求下列成绩的评定结果。X170306080x250905940解：x170306080x250905940Net（）70*0.7+50*0.3-60=7030*0.7+90*0.3-60=-12060*0.7+59*0.3-60=-0.30y1001练习2设一平面上有两类点，使用横坐标x1和纵坐标x2作为两个输入，构建两输入、单输出的感知机。若权值w1=-40、w2=22，阈值=6000，求下列样本的识别结果。x170306080x250905940感知器的建立：学习阶段修改权值（例：根据“已知的样本”对权值不断修改；有导师学习）工作阶段 计算单元变化，由响应函数给出新输入下的

4、输出。举例：用感知器实现“与”的功能解：设x1,x2为两输入，取值为逻辑0或1y为输出，即x1,x2与运算后的结果。用感知器实现“与”的功能，即用此设计好的感知器可以相当于“与门”完成与运算。 也就是确定此感知器中的3个参数“w1,w2,”。举例：用感知器实现“与”的功能1）设w1=0;w2=0; =0;2 ) 输入x=x1,x2 输出y样本：x1=0011 x2=0101y=0001即，时y1=0, y2=0, y3=0, y4=1;）计算感知机在ui作用下的输出yi由模型可描述为： j=1,2 n=2 i=1,2,3,4, 用矩阵表示为s1=(w1,w2)u1=（0，0）00；s2=(w1

5、,w2)u2=（0，0）00；s3=(w1,w2)u3=（0，0）00；s4=(w1,w2)u4=（0，0）00；由响应函数Y=1 1 1 1, 即y1=y2=y3=y4=1;）调整权值和阈值由ei(t)=(di-yi(t)e(t)=(-1,-1,-1,0)求E(t)=-3 ,设0.5w1(t+1)=w1(t)+(di-yi(t)x1)=0+0.5(-1,-1,-1,0)(0,0,1,1)=-0.5;w2(t+1)=w2(t)+(di-yi(t)x2)=0+0.5(-1,-1,-1,0)(0,1,0,1)=-0.5;(t+1)= (t)+(| E(t)|)1/2=0+1.732=1.732;由

6、此w1=-0.5,w2=-0.5, =1.732;返回3）重新计算，直到E满足要求。%建立一个感知机网络，使其能够完成“与”的功能%感知机神经网络学习阶段%自编程，没用mat工具箱err_goal=0.001;lr=0.9;max_expoch=10000;X=0 0 1 1;0 1 0 1;T=0 0 0 1;M,N=size(X);L,N=size(T);Wij=rand(L,M);y=0;b=rand(L);for epoch=1:max_expoch NETi=Wij*X; for j=1:N for i=1:L if(NETi(i,j)=b(i) y(i,j)=1; else y(i

7、,j)=0; end end end E=(T-y);EE=0; for j=1:N EE=EE+abs(E(j); end if(EE=b(i) y(i,j)=1; else y(i,j)=0; end end end y算法步骤：）设输入变量为x1,x2,xm；(j=1 ,2,m)，设置权系数初值wj(wj一般取-1,1之间的随机小数)；）确定学习样本，即给定输入输出样本对，输入：u=u1，u2un，,(i=1,2,n) 输出：d=d1，d2dn, (i=1,2,n) ）分别计算感知机在ui作用下的输出yi；t指第t次计算并调整权值。）调整权值和阈值（1）求ei(t)=di-yi(t)（2

8、）求E(t)若E(t) 0，调整权值;wj(t+1)=wj(t)+(di-yi(t)xji)，写出矩阵为W(t+1)=W(t)+ (di-yi(t)ui);(t+1)= (t)+( E(t)2 返回3若E(t)满足要求则结束。 ：训练步长，一般01 ，大收敛快，易振荡， 小，收敛慢，不易振荡初始化：initp 训练：trainp 仿真： simup初始化： initp 可自动产生-1,1区间中的随机初始权值和阈值, 例: w,b=initp(2,8) 或 w,b=initp(p,t)训练： trainp 感知器网络学习和仿真的过程tp=disp_freq max_epoch;(显示频率和训练的

9、最大步数)w,b,te=trainpw,b,p,t,tp;Train函数完成每一步训练后,返回新的网络权值和阈值,并显示已完成的训练步数ep及误差te注意:使用trainp函数并不能保证感知器网络在取训练所得到的权值和阈值时就可以顺利达到要求,因此,训练完成后，最好要验证一下: a=simupp,w,b; if all(a=t),disp(It works!),end%直接利用mat 工具箱（initp trainp simup）clear allNNTWARN OFFp=0 0 1 1 ; 0 1 0 1t=0 0 0 1w1,b1=initp(p,t) %初始化w1,b1,epoches,

10、errors=trainp(w1,b1,p,t,-1)；%训练%计算完毕figure(2);ploterr(errors)a1=simup(p,w1,b1);%仿真a1if all(a=t),disp(It works!)；e=t-a1;k=1:1:4;figure(3);plot(k,e)3 感知机的特点）多输入，单输出）激活函数传递函数为二值，一般为阶跃函数或符号函数）输出为二值：或）=f(u)习题11）看懂课堂中2个实现“与”功能的程序：yu1.m和yu2.m2）模仿实现“与”功能的程序yu2.m，编写能实现2个变量及3个变量的“或”功能程序，要求： a) 给出完整的程序，并对重要的函数

11、及语句给于解释说明，程序中要用语句画出训练误差图，分类图等。 b) 在实验报告中，画出设计的网络的结构图，并在图中标出训练好的权值阈值。4 感知机的局限：感知机只能对线性可分离的模式进行正确的分类。当输入模式是线性不可分时，则无论怎样调节突触的结合强度（连接权值）和阈值的大小也不可能对输入进行正确的分类。 解决方法：构造多层感知机网络，即含有隐层的网络，但只能修改最后一层权值阈值。%直接利用mat工具箱（initp trainp ）clear allNNTWARN OFFp=0 0 1 1; 0 1 0 1;t=0 1 1 0;s1=9;w1,b1=initp(p,s1);%初始化第一层权值及

12、阈值w2,b2=initp(s1,t);%初始化第二层（隐层）权值及阈值A1=simup(p,w1,b1);%网络第一层输出w2,b2,epoches,errors=trainp(w2,b2,A1,t,-1);%学习完毕，即网络建立完毕w2b2figure(2)ploterr(errors)a1=simup(p,w1,b1);%网络第一层输出a2=simup(a1,w2,b2);%网络第一层输出e=t-a2;k=1:1:4;figure(3)plot(k,e)%网络第一层的权值及阈值不做修改，只有隐层的的权值及阈值进行不断学习及修改。%先设定（任意选取w1b1）,初始化W2B2，再让W2B2不

13、断学习修正%也是直接利用mat工具箱p=0 0 1 1; 0 1 0 1;t=0 1 1 0;w1=1 -1; 1 -1b1=-0.5;0.5w2,b2=initp(2,t);A1=simup(p,w1,b1);%网络输出w2,b2,epoches,errors=trainp(w2,b2,A1,t,-1);w2b2figure(2)ploterr(errors)a1=simup(p,w1,b1);a2=simup(a1,w2,b2);a2e=t-a2;k=1:1:4;figure(3)plot(k,e)二 bp网络脐橙可食率自动估测的研究脐橙营养丰富是深受人们喜爱的水果之一，对脐橙进行品质检测和分级对提高脐橙种植和销售水平都具有重要意义。在