神经网络在自学习系统中的应用Word格式文档下载.docx

神经网络在自学习系统中的应用Word格式文档下载.docx

《神经网络在自学习系统中的应用Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《神经网络在自学习系统中的应用Word格式文档下载.docx（3页珍藏版）》请在冰豆网上搜索。

由于缺少训练样本以及网络结构不确定等因素,已有的权值初始化方法无法应用于自学习以提高训练收敛速度。

神经网络学习时,监督学习能够通过具体的数据样本计算快速获得准确的权值,而对于无数据样本的自学习,再励学习通过/试错0法需要花费大量时间进行测试,如果再励学习时初始网络具有基本的控制功能,则可以减小权值的修改幅度,加快学习速度。

要获得具有基本控制功能的初始化神经网络,可将神经网络控制器具有基本控制功能作为给定条件,利用贝叶斯理论计算给定条件下权值组合的后验概率,根据后验概率分布初始化网络权值,则可获得具有一定控制能力的神经网络控制器。

文献[15]将控制问题归纳为整定、跟踪与最优控制,无论是那种控制问题,反馈控制系统中控制器基本的动作准则应满足:

若误差erro>

0,则输出减小若误差erro<

0,则输出增大

（1）从以上分析可知,构建一个最基本的控制器不需要任何的样本数据,只需根据基本的动作准则进行调整即可。

要根据后验概率分布产生初始化神经网络控制器,需要根据贝叶斯理论构建先验与后验误差函数,从而求取各种权值组合在满足基本控制器功能条件下的后验概率。

设未知神经网络权值（包括阈值）为W=（w1,w2,,,wn）,样本点D={（x1,y1）,（x2,y2）,,,（xm,ym））},其中、分别为权值以及样本点数目,则权值在样本点的条件概率为:

P（w/D）=P（D/w）P（w）P（D）

（2）其中P（w）为权值W的先验分布,P（D/w）为似然函数,P（D）=EiP（D/wi）P（wi）=1为归一化因子。

在没有先验知识时,权的初始值应较小以免一开始就工作在激励函数的饱和部分,如果权值太小,则所有激励函数几乎都处于线性部分,也会降低收敛速度,一般认为权值服从指数分布[16]:

P（W）=1ZW（A）exp（-AEW）（3）其中ZW（A）是一个归一化因子,以保证Qp（w）dw=1,ZW=Qexp（-AEW）dw,A是控制权值分布形式的参数,EW是一种误差函数,高斯分布是指数分布最常见的形式,表达式为P（W）=1ZW（A）exp（-A2+w+2）（4）则:

EW=12+w+2=12Eni=1w2i（5）似然函数P（D/w）也可以写为指数形式:

P（D/W）=1ZD（B）exp（-BED）（6）ZD（B）=Qexp（-BED）dD（7）这里ED是误差能量,为待优化网络理想输出与实际输出之间的误差之和。

对于设计具有基本控制能力的控制器,只要满足条件

（1）即可,由于没有样本数据,则设误差能量ED=Emi=112e2i,ei为网络理想输出与实际输出之间的误差,这里根据奖惩机制令ei满足:

ei=$ANNout,x>

0,$ANNout<

00,x>

0,$ANNout\0$ANNout,x<

0,$ANNout>

00,x<

0,$ANNout[0（8）将式（3）和式（5）代入式

（2）中,得:

P（W/D）=1ZMexp（-BED-AEW）=1ZMexp（-M（W））（9）M（W）=BED+AEW（10）ZM（A,B）=Qexp（-BED-AEW）dW（11）其中,A=m/2EW,B=n/2ED。

由以上分析可知,要获得后验分布最大值的WMP,就应使P（W/D）最大,由于归一化因子ZM与W无关,求P（W/D）最大即是求M（W）最小。

为了简化计算,可利用高斯分布近似后验分布[17],将M（W）在其最小点WMP附近按Taylor级数展开,并忽略高次项,有:

M（W）=M（WMP）+12（W-WMP）TA（W-WMP）（12）其中A是M（W）的Hessian阵:

A=ý

ý

MMP=Bý

EMPD+Aý

EMPW=Bý

EMPD+AI（13）于是后验概率（9）简化为:

P（W/D）=1Z*Mexp（-M（WMP）-12（W-WMP）TA（W-WMP））（14）其中根据文献[17]可得Z*M值为:

Z*M（A,B）=e-M（WMP）（2P）n2（detA）-1/2（15）2贝叶斯权值初始化方法的应用为了验证贝叶斯权值初始化方法提高神经网络训练速度的有效性,将其应用到交流电机速度环神经网络控制器自学习中,通过与随机赋值初始化方法的比较以验证本文方法的有效性。

2.1系统简介应用平台为基于矢量控制的异步电机调速系统控制器自学习系统,控制器自主设计在电机调速系统中的应用原理如图3所示。

交流电机数学模型具有高阶非线性特点,为实现交流电机的高性能控制,一般借助于交流电机矢量控制理论[18]将电机系统分解为类似直流电机的励磁调节子系统和速度调节子系统两部分以分别进行控制。

这里,在速度调节子系统中利用神经网络构建速度环控制器,图1虚线框中为自学习系统,其采用如图2所示的神经网络结构,其中利用遗传算法根据系统的性能指标在线逐步进化神经网络控制器的权值、阈值、激励函数,通过全局搜索寻找控制器最优解。

2.2权值初始化速度环神经网络控制器初始结构如图2所示,其中每层之间的连接权重矩阵为wij,每层反馈与该层的连接权重矩阵为feed_wi,阈值矩阵为biasi。

网络中神经元彼此相连,且激励函数采用如下形式:

transfer（x）=transfer_w@tansig（x）hardlims（x）purelin（x）radbas（x）（16）因此,网络权值、阈值总数目为36,令权值、阈值为W=（w1,w2,,,w36）,按照第二章介绍的贝叶斯方法首先对图2中神经网络进行初始化,令输入e（k）=-100+i（i=0,1,2,,,200）目标函数为式（9）。

由于网络结构的不定性和复杂性,利用遗传算法求取目标函数最小点,这里权值个数m=36,样本个数n=200,具体的求取后验概率最大处的权值算法步骤如下:

1）以式（9）作为适应度函数,初始值A=0,B=1,将交叉概率设为PC=0.8,变异概率设为Pm=0.01,进化代数设置为500代;

以e（k）作为输入,依次测试种群中30组染色体个体的适应度,按大小对适应度进行排序;

2）利用轮盘赌选择法选取6个父个体进行交叉、变异操作,将产生的6个子代个体替代3）中产生的适应度最小的6个个体,形成新的种群;

3）按A=m/2EW,B=n/2ED重新计算A、B值,替换式（9）中原有值;

4）判断进化代数是否大于500,若大于500则停止进化。

否则转向3）继续进化。

通过计算求得WMP=（0,0,,,0）,A=6.215,B=9.163,M（WMP）=0,则由式（8）有ED=0,于是M（W）的Hessian阵:

EMPW=AI（17）将式（17）代入式（14）和式（15）有:

P（W/D）=exp0-12（W-0）TA（W-0）e-0（2P）n2（detA）-12=exp（-12WTAIW）（2P）n2（A）-n2=exp（-A2WTIW）（2P）n2（18）从式（18）可知,W=（w1,w2,,,w36）服从均值E（W）=（0,0,,,0）,方差var（W）=1AI的联合正态分布,A决定着权值W分布情况,由于var（W）是对角矩阵,则w1,w2,,,w36相互独立[19],且wi服从N（0,1/A）的正态分布。

由于贝叶斯方法和随机赋值法均是一种概率方法,通过增加抽样的次数能够增大获得最佳解的概率,因此得到贝叶斯后验概率后,按照式（18）对权值进行初始化,产生30组权值组合,记为W_bayes;

同时,按照随机赋值的方法对权值进行初始化,也产生30组权值组合,记为W_random。

利用两种方法获得的权值在同样的训练算法下比较学习速度,以验证贝叶斯方法的有效性。

图1电机矢量控制系统中速度环控制器自主设计原理图2神经网络控制器初始结构2.3自学习仿真按照图1所示,利用Matlab软件中simulink工具箱建立交流电机矢量控制仿真平台,仿真实验中电机参数选用本实验室实际交流电机参数,励磁电感Lm=0.1024H,转子电感Lr=0.1088H,定子电感Ls=0.1063H,转子电阻Rr=0.5318,定子电阻Rs=0.8138,转动惯量J=0.02kgm2,额定功率Pn=5.5kW。

针对多种初始化权值组合的测试,采用遗传算法进行自学习,能够通过进化机制从多种权值中搜索到最优权值。

遗传算法中,按照整数型编码方式将权值矩阵W=（w1,w2,,,w36）组成染色体个体,将权值矩阵W_bayes和W_random分别作为遗传算法初始种群,采用同样的遗传算法对交流调速系统进行控制器自设计。

调速系统中,系统的性能指标分别选择T@Et2t1e（t）、Et2t1|e（t）|和1TEt2t1|$e（t）|三项,其中T为采样时间,T=0.001s,e（t）为速度误差。

由于涉及多目标优化,算法中采用自适应权重法构建适应度函数。

仿真算法中交叉、交叉概率分别设为PC=0.8,Pm=0.01,采用轮盘赌的选择方法,进化代数为50,单个个体作用时间为0.5s。

3实验结果及分析按照上述步骤进行仿真实验,分别得到如图3~5所示的应用两种权值初始化方法学习过程中速度变化曲线、最佳适应度变化曲线。

从图3可知,应用贝叶斯方法初始化权值的网络自学习速度比随机初始化权值的网络自学习速度有很大提高,前者经过32s自学习获得最佳权值,而且在初始化权值中已经具备控制效果较好的部分组合,使得遗传算法能够更快向最优解收敛,加快了学习速度;

从图4可以看到,贝叶斯初始化产生的权值组合最佳适应度为0.18rad/s,比随机取值法产生的权值组合最佳适应度3.4rad/s明显减小;

图5中贝叶斯方法产生的权值组合平均适应度为50rad/s,而随机组合产生的权值组合平均适应度为70rad/s,可见贝叶斯方法产生的权值组合在整体上也更趋近于最佳权值WMP,这样将有利于通过交叉、变异操作搜索得到最优解,从而提高学习速度

4结语神经网络自学习时,针对缺少样本数据和网络结构不确定等特点,以神经网络控制器具有基本控制功能作为给定条件,利用贝叶斯理论计算给定条件下权值组合的后验概率,根据后验概率分布初始化网络权值,能够获得具有一定控制能力的神经网络控制器,从而减小自学习时权值、阈值的修改幅度,加快自学习速度。