东北大学数学模型报告.docx

东北大学数学模型报告.docx

《东北大学数学模型报告.docx》由会员分享，可在线阅读，更多相关《东北大学数学模型报告.docx（9页珍藏版）》请在冰豆网上搜索。

东北大学数学模型报告

东北大学

研究生考试试卷

考试科目：

数学模型

课程编号：

阅卷人：

考试日期：

姓名：

学号：

注意事项

1．考前研究生将上述项目填写清楚

2．字迹要清楚，保持卷面清洁

3．交卷时请将本试卷和题签一起上交

东北大学研究生院

数学模型在BP神经网络中的应用

1.绪论

人工神经网络（简称神经网络）是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型．这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的．人工神经网络具有复杂模式和进行联想、推理记忆的功能，它能够解决某些传统方法所无法解决的问题．目前，它日益受到重视，同时其他学科的发展，为其提供了更大的机会．1986年，Rumelhart和McCelland提出了按误差逆传播的算法（ErrorBackPropagationAlgorithm，简称BP算法），BP神经网络则是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一．

BP网络具有初步的自适应与自组织能力．在学习或训练过程中改变突触权重值，以适应周围环境的要求．同一网络因学习方式及内容不同可具有不同的功能．BP网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平．通常，它的学习训练方式可分为两种：

一种是有监督或称有导师的学习，利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无导师学习，只规定学习方式或某些规则，具体的学习内容跟随系统所处环境（即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能．

由于具有结构简单、工作状态稳定、易于硬件实现等优点，在众多的神经网络模型中，BP网络的应用最为广泛，尤其是在图像处理、模式识别、故障智能诊断、最优预测、分类及函数拟合等方面．

BP网络的研究内容相当广泛，反映了多学科交叉技术领域的特点．目前，主要的研究工作集中在以下几个方面：

1.生物原型研究．从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理．

2.建立理论模型．根据生物原型的研究，建立神经元、神经网络的理论模型．其中包括概念模型、知识模型、物理化学模型、数学模型等．

3.网络模型与算法研究．在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究．这方面的工作也称为技术模型研究．

4.人工神经网络应用系统．在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等等．

本文是一篇综述性文章，主要研究内容是BP神经网络，首先介绍BP神经网络的基本原理，归纳出BP神经网络的相关数学模型，再对BP神经网络在计算机和控制相关领域的应用做了一个简要介绍，最后对BP神经网络的缺点进行改进和展望．

2.BP神经网络基本原理

BP网络是一种按照误差逆传播算法训练的多层前馈神经网络．BP神经网络模型拓扑结构包括输入层、中间层和输出层，三者都是由神经元组成的．输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐含层或者多隐含层结构；最后一个隐含层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果．当实际输出与期望输出不符时，进入误差的反向传播阶段．误差通过输出层，按误差梯度下降的方式修正各层权值，向隐含层、输入层逐层反传．周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止．BP神经网络结构如图1所示．

图1BP神经网络结构

图中：

表示输入层第

个节点的输入，

；

表示隐含层第

个节点到输入层第

个节点之间的权值，

；

表示隐含层的激励函数；

表示输出层的激励函数；

表示输出层第

个节点到隐含层第

节点之间的权值，

．

BP神经网络，即误差反向传播算法的学习过程，主要包括两个阶段：

由信息的正向传播和误差的反向传播．正向传播即给出输入信息通过输入层经隐含层逐层处理并计算每个单元的实际输出值．反向传播即首先由输出层开始逐层计算个层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。

（1）正向传播：

隐含层节点的输出为

（1）

输出层节点的输出为

（2）

这样，BP网络就完成了n维空间向量对m维空间的近似映射．

（2）反向传播

输入

个学习样本，

为输出，

为期望输出，则第

个样本的误差

为

（3）

对于

个样本，全局误差

为

（4）

定义误差信号为

（5）

设学习率为

，则可得输出层权值调整公式为

（6）

同理可得，隐含层个神经元的权值调整公式为

（7）

以上就是BP算法的简要描述，该算法的基本思想是利用非线性规划中的最快下降法，使权值沿着误差函数的负梯度方向改变，以使网络的实际输出与期望输出的均方差最小化，并且步长一般是根据不同的问题给出不同的确定值，是根据算法效果的经验来取的．BP神经网络比之前的简单人工神经元模型、感知器模型在各种性能上好了很多，应用范围也广了，极大的促进了神经网络的发展．

3.BP神经网络的应用

1.图像压缩编码

将BP网络用语图像压缩时，第一层神经元输入为原图像，第二层（隐含层）神经元为压缩结果，用来存储的图像特征，第三层神经元输出为重建图像．输入层和隐含层之间的加权值类似于一个编码器，而隐含层和输出层之间的加权值则相当于一个解码器．当输入的图像经过训练加权后，得到的隐含层即是原始图像的压缩编码，它可以通过量化器变化为适合信道传送的离散信号，到接收方后再变为相应的连续信号，至输出层经加权后恢复为原图像．对于同一幅图像而言，隐含层神经元个数越少，压缩率越大．可见，通过改变隐含层神经元的个数，可以调整压缩率及输出图像的质量．

输入层和输出层均含有n×n个神经元，每个神经元对应于n×n个图像分块中的一个像素．隐含层神经元的数量由图像压缩比决定，如n=16时，取隐含层神经元数为m=8，则可将256像素的图像块压缩为8像素．设用于学习的图像有N×N个像素，训练时从中随机抽取n×n图像块作为训练样本，并使教师模式和输入模式相等．通过调整权值使训练集图像的重建误差达到最小．训练后的网络就可以用来执行图像的数据压缩任务了，此时隐含层输出向量便是数据压缩结果，而输出层的输出向量便是图像重建结果．

2.人脸识别

人脸的自动识别技术的研究已经有20多年的历史，它是随着计算机技术的发展而发展起来的．人脸识别技术有着巨大的理论意义和实践价值，特别在现今网络时代有着非常重要的应用前景例如，身份证识别，机场海关等场所人员识别等．神经网络受动物神经系统启发，利用大量简单处理单元互联而构成的复杂系统，来解决复杂模式识别和行为控制问题．首先将人脸区域看作是一类模式，与之相对应，将非人脸区域看成是另一类模式．使用大量的人脸与非人脸样本训练构造分类器，通过判别图像中所有可能区域是否属于两种模式中的一种的方法实现人脸的检测．

人脸识别算法主要包括部分构成：

网络训练和人脸定位，通过对输入图像实行图像压缩、图像抽样及输入矢量标准化等图像预处理，将标准化矢量输入BP神经网络进行训练．神经网络分类器的形成与网络的结构和样本的选取有很大的关系．不同的训练集对于同一网络结构形成的分类器的收敛速度和分类正确率可能会不同．同一训练集的训练次数不同对于网络的收敛速度也有影响．到现在为止并没有出现有效的理论指导样本的选取和训练方法.一般来说，样本应该特征明显，差异较大．样本的特征空间应该能够覆盖整个特征空间．BP网络用于人脸识别时，网络的每一个输入节点对应样本的一个特征，而输出节点数等于类别数，一个输出节点对应一个类．在训练阶段，如果输入训练样本的类别标点是i，则训练时的期望输出假设第i个节点为1，而其余输出节点均为0．在识别阶段，当一个未知类别样本作用到输入端时，考察各输出节点对应的输出，并将这个样本类别判定为具有最大值的输出节点对应的类别．如果有最大值的输出节点与其它节点之间的距离较小（小于某个阈值），则做出拒绝判断．最终经过竞争选择，获得识别结果．

3.故障诊断

对于故障诊断而言，其核心技术是故障模式识别．而人工神经网络由于其本身信息处理特点，如并行性、自学习、自组织性、联想记忆等，使得能够出色地解决那些传统模式识别难以圆满解决的问题，所以故障诊断是人工神经网络的重要应用领域之一，已有不少应用系统的报道．总的说来，神经网络在诊断领域的应用研究主要集中在两个方面：

一是从模式识别的角度应用作为分类器进行故障诊断，其基本思想是：

以故障征兆作为人工神经网络的输入，诊断结果作为输出；二是将神经网络与其他诊断方法相结合而形成的混合诊断方法．对用解析方法难以建立系统模型的诊断对象．由于神经网络是一种信息存储和处理统一的网络系统，因此，在采用神经网络技术的专家系统中，知识的存储与问题求解过程中的推理过程均在系统的神经网络模块中进行．三层BP神经网络采用数据驱动正向推理的故障诊断策略，即从初始状态出发，向前推力达到目标状态为止．

故障诊断过程：

首先将故障样本输入给输出层各节点，同时它也是该层神经元的输出；然后求出隐含层神经元的输入，并将其作为输出层的输入；再求出输出层神经元的输出，由阈值函数判定输出层神经元的最终输出结果．若用

表示故障类型，则故障类型阈值判定函数为

（8）

其中

为被诊断系统中由领域专家设定的阈值．

4.最优预测

目前，前景预测已经成为许多行业不可避免的一个难题．由于预测涉及的因素很多，往往很难建立一个合理的模型．人工神经网络模拟人的大脑活动，具有极强的非线性逼近、大规模并行处理、自训练学习、容错能力以及外部环境的适应能力．所以利用人工神经网络进行预测已经成为许多项目首选的方法．目前利用BP网络进行预测的应用已经很多．例如，可以用来建立公共卫生事件监测与预警系统、旅游业趋势预测系统、物流预测系统、资源调度系统等方面．设计包括训练样本集设计、网络结构设计和训练与测试三个方面．BP网络在应用于预测预报前，需要一个网络学习过程．其学习过程包括信息正向传播和误差反向传播两个反复交替的过程．网络根据输入的训练（学习）样本进行自适应、自组织，确定各神经元的连接权W和阈值，经过多次训练后，网络就具有了对学习样本的记忆和联想的能力．

5.分类

BP神经网络可以用于分类，特别是在遥感影像的应用中具有重大的作用．目前在遥感图像分类中，主要常用的分类方法有统计分类法、结构分类法和模糊分类法等．这些分类方法均通过计算各个类别的均值、方差、标准偏差和离散度等统计量，作为比较不同类别的相似程度的依据和标准，以便在这些统计量的基础上建立各个组类的类别识别特征来进行分类。

这些分类方法需要大量的统计运算，而且分类精度较低。

传统的基于统计的分类是基于数据成正态分布的假设进行的，而实际上由于遥感数据具有模糊、不确定等特征且分布复杂，所以遥感数据大多数情况下是不符合正态分布的。

神经网络不依赖于模型而依赖于数据本身，其可以根据影像的各种先验知识，自动进行学习，提炼出规则，以此进行分类。

所以分类精度往往高于传统的基于统计的分类方法。

系统首先选取样本的纹理特征构成特征矩阵，然后将样本特征矩阵作为输入数据，使网络进行自学习，最后利