1、陈 恬恬主要内容1RNN简介2RNN的学习算法3需解决的问题4后续学习安排神经网络模型的基本组成神经网络模型的基本组成 之神经元之神经元Z 生物神经元的基本组成细胞体突起Z树突Z轴突Z 人工神经元的基本结构处理单元连接Z输入Z输出1 RNN简介 RNN是一类以在网络中出现环为特点的网络模型，并且能存储着神经元这一时刻的输入与前一时刻输出的以来关系。前向静态神经网络虽然对非线性函数具有良好的逼近能力，但却不具动态性，所以就引入了递归神经网络RNN。RNN相对于前向静态网络不同的就是信号从一个神经元到另一个神经元，并不会马上消失，而是继续存活。RNN的神经元的神经元主要由5个部分组成 输入 网络权
2、值和阈值 求和单元 传递函数 输出RNN分类分类全局递归神经网络（Fully Recurrent NNs）离散DHNN Hopfiled网络 连续CHNN局部递归神经网络（Locally Recurrent NNs）外部时延网络：Jordan网络 内部时延网络：Elman网络RNN的学习算法的学习算法通过时间的反向传播算法（Back Propagation Through Time，BPTT）BPTT算法是BP算法的扩展，可将加 在网络上的时序信号按层展开，将动 态网络转化为动态网络，用BP算法进 行训练。BPTT算法描述算法描述定义回合的误差函数（表示回合的起始时间，表示回合的结束时间）（1
3、）在区间 ,上，对数据做前向运算，保存完整的输入数据记录、网络状态（权值）和期望输出；（2）对过去这条记录执行一个单纯的反向传播网络，计算局部梯度；（3）当反向传播的计算回到 时，对神经元 j 的突触权值 调整如下：RNN的学习算法的学习算法实时递归学习算法（Real time Recurrent Learning，RTRL）用于训练局部网络；有N=4个单元，M=2个外加输入，x（n）表示n时刻的输入向量，y（n+1）表示下一时刻的输出向量，总的输入向量为 RTRL算法描述算法描述（1）从n=0开始，对每一步n，计算N个神经元的输出，求出联合输入 ；n时刻 j 神经元的净输入为：下一时刻 j 的输出为：（2）用梯度下降法求出权值的修正量；（3）修正权值：（4）重复计算，知道误差小于某一特定值；实际应用中，我们需要事先知道各神经元的状态信息，然后才可以合理利用这些信息实现一些预定的目标，而信息有时是不可完全获知的，即模型中存在时滞，就要求我们想办法去估计这些神经元的状态。3需解决的问题-如何处理时滞？A Clockwork RNNCW-RNN是通过将隐含层划分几个模块，来减少RNN中存在的长时间依赖，从而减少了训练的时间。后续学习安排后续学习安排重新搭建一条学习的主线多看一些关于RNN的论文学好Python的编程，读懂RNN的代码谢谢大家的指导！
升级会员 