RNN介绍PPT文件格式下载.ppt

RNN介绍PPT文件格式下载.ppt

《RNN介绍PPT文件格式下载.ppt》由会员分享，可在线阅读，更多相关《RNN介绍PPT文件格式下载.ppt（14页珍藏版）》请在冰豆网上搜索。

陈恬恬主要内容1RNN简介2RNN的学习算法3需解决的问题4后续学习安排神经网络模型的基本组成神经网络模型的基本组成之神经元之神经元Z生物神经元的基本组成细胞体突起Z树突Z轴突Z人工神经元的基本结构处理单元连接Z输入Z输出1RNN简介RNN是一类以在网络中出现环为特点的网络模型，并且能存储着神经元这一时刻的输入与前一时刻输出的以来关系。

前向静态神经网络虽然对非线性函数具有良好的逼近能力，但却不具动态性，所以就引入了递归神经网络RNN。

RNN相对于前向静态网络不同的就是信号从一个神经元到另一个神经元，并不会马上消失，而是继续存活。

RNN的神经元的神经元主要由5个部分组成输入网络权值和阈值求和单元传递函数输出RNN分类分类全局递归神经网络（FullyRecurrentNNs）离散DHNNHopfiled网络连续CHNN局部递归神经网络（LocallyRecurrentNNs）外部时延网络：

Jordan网络内部时延网络：

Elman网络RNN的学习算法的学习算法通过时间的反向传播算法（BackPropagationThroughTime，BPTT）BPTT算法是BP算法的扩展，可将加在网络上的时序信号按层展开，将动态网络转化为动态网络，用BP算法进行训练。

BPTT算法描述算法描述定义回合的误差函数（表示回合的起始时间，表示回合的结束时间）

（1）在区间,上，对数据做前向运算，保存完整的输入数据记录、网络状态（权值）和期望输出；

（2）对过去这条记录执行一个单纯的反向传播网络，计算局部梯度；

（3）当反向传播的计算回到时，对神经元j的突触权值调整如下：

RNN的学习算法的学习算法实时递归学习算法（RealtimeRecurrentLearning，RTRL）用于训练局部网络；

有N=4个单元，M=2个外加输入，x（n）表示n时刻的输入向量，y（n+1）表示下一时刻的输出向量，总的输入向量为RTRL算法描述算法描述

（1）从n=0开始，对每一步n，计算N个神经元的输出，求出联合输入；

n时刻j神经元的净输入为：

下一时刻j的输出为：

（2）用梯度下降法求出权值的修正量；

（3）修正权值：

（4）重复计算，知道误差小于某一特定值；

实际应用中，我们需要事先知道各神经元的状态信息，然后才可以合理利用这些信息实现一些预定的目标，而信息有时是不可完全获知的，即模型中存在时滞，就要求我们想办法去估计这些神经元的状态。

3需解决的问题-如何处理时滞？

AClockworkRNNCW-RNN是通过将隐含层划分几个模块，来减少RNN中存在的长时间依赖，从而减少了训练的时间。

后续学习安排后续学习安排重新搭建一条学习的主线多看一些关于RNN的论文学好Python的编程，读懂RNN的代码谢谢大家的指导！