第12节随机神经网络.ppt

第12节随机神经网络.ppt

《第12节随机神经网络.ppt》由会员分享，可在线阅读，更多相关《第12节随机神经网络.ppt（49页珍藏版）》请在冰豆网上搜索。

第六章第六章随机神经网络随机神经网络山东轻工业学院山东轻工业学院数理学院数理学院李彬李彬随机网络：

学习运行引入随机机制随机网络：

学习运行引入随机机制1.1.存在的问题：

以目标函数的极小值，作为学习或运行的目的存在的问题：

以目标函数的极小值，作为学习或运行的目的BP算法算法-误差函数，梯度下降误差函数，梯度下降Hop算法算法-Hebb规则规则-能量函数能量函数EE容易陷入局部极小点容易陷入局部极小点.无法避免无法避免;从从入手：

将入手：

将“总是沿梯度下降方向演变总是沿梯度下降方向演变”改为改为”大部分沿梯度下降方向演变，但大部分沿梯度下降方向演变，但允许少数情况沿上升方向演变允许少数情况沿上升方向演变.”.”目目录录v引言引言v模拟退火算法的模型模拟退火算法的模型v模拟退火算法的简单应用模拟退火算法的简单应用v模拟退火算法的参数控制问题模拟退火算法的参数控制问题vBoltzmannBoltzmann机机6.16.1引言引言v模模拟拟退退火火（SimulatedAnnealing,SA）算算法法是是近近年年来来特特别别引引入入注注目目的的一一种种适适用用于于解解大大型型组组合合优优化化问问题题的的优优化化方方法法,算算法法来来源源于于固固体体退退火火原原理理,其核心在于其核心在于模仿热力学中液体的冻结与结晶或金属熔液的冷模仿热力学中液体的冻结与结晶或金属熔液的冷却与退火过程却与退火过程-物理退火过程和物理退火过程和Metropolis准则准则.v下面分别介绍下面分别介绍SASA原理原理SASA全局优化的直观解释全局优化的直观解释6.1.16.1.1模拟退火模拟退火原理原理v简简单单而而言言,在在固固体体退退火火时时,先先将将固固体体加加热热使使其其温温度度充充分分高高,再再让让其其徐徐徐徐冷冷却却,其其物物理理退退火火过过程由以下三部分组成：

程由以下三部分组成：

加温过程加温过程等温过程等温过程冷却过程冷却过程6.1.16.1.1模拟退火模拟退火原理原理加温过程加温过程v在固体退火时在固体退火时,先将固体加热使其温度充分高先将固体加热使其温度充分高,其其目的是增强粒子的热运动目的是增强粒子的热运动,使其偏离平衡位置使其偏离平衡位置.v当温度足够高时当温度足够高时,固体将溶解为液体固体将溶解为液体,固体内部粒固体内部粒子随温升变为无序状子随温升变为无序状,彼此之间可以自由移动彼此之间可以自由移动,从而消除系统原先可能存在的非均匀态从而消除系统原先可能存在的非均匀态,使随后使随后进行的冷却过程以某一平衡态为起点进行的冷却过程以某一平衡态为起点.v熔解过程熔解过程（加热固体至高温液态加热固体至高温液态）与系统的熵增过与系统的熵增过程联系程联系,系统内部能量也随温度的升高而增大系统内部能量也随温度的升高而增大.6.1.16.1.1模拟退火模拟退火原理原理等温过程等温过程v物理学的知识告诉我们物理学的知识告诉我们,对于与周围环境交换热量而温对于与周围环境交换热量而温度不变的度不变的封闭系统封闭系统,系统状态的自发变化总是朝自由能减系统状态的自发变化总是朝自由能减少的方向进行少的方向进行,当自由能达到最小时当自由能达到最小时,系统达到平衡态系统达到平衡态.冷却过程冷却过程v目的是使粒子的热运动减弱并渐趋有序目的是使粒子的热运动减弱并渐趋有序,系统能量逐渐系统能量逐渐下降下降,从而得到低能的晶体结构从而得到低能的晶体结构.v徐徐冷却时粒子就会丧失由于温度而引起的流动性徐徐冷却时粒子就会丧失由于温度而引起的流动性,渐渐趋有序趋有序,这时原子就会自己排列起来而形成一种纯晶体这时原子就会自己排列起来而形成一种纯晶体,它们依次地朝各个方向排列成几十亿倍于单个原子大小它们依次地朝各个方向排列成几十亿倍于单个原子大小的距离的距离,这个纯晶体状态就是该系统的平衡态这个纯晶体状态就是该系统的平衡态,亦为亦为最小最小能量状态能量状态.6.1.16.1.1模拟退火模拟退火原理原理v有趣的是有趣的是:

对对一一个个徐徐徐徐冷冷却却的的系系统统,当当这这些些原原子子在在逐逐渐渐失失去去活活力力的的同同时时,它它们们自自己己就就同同时时地地排排列列而而形形成成一一个个纯晶体纯晶体,使这个系统的能量达到其最小值使这个系统的能量达到其最小值.这这里里引引起起特特别别关关注注的的是是,在在这这个个物物理理系系统统的的冷冷却却过过程程中中,这这些些原原子子是是“同同时时地地”把把它它们们自自己己排排列列成一个纯晶体的成一个纯晶体的.如如果果一一种种金金属属熔熔液液是是被被快快速速冷冷却却或或泼泼水水使使其其冷冷却却的的,则则它它不不能能达达到到纯纯晶晶体体状状态态,而而是是变变成成一一种种多多晶晶体体或或非非晶晶体体状状态态,系系统统处处在在这这种种状状态态时时具具有有较较高高的能量的能量.6.1.16.1.1模拟退火模拟退火原理原理vSASA算算法法就就是是模模仿仿上上述述物物理理系系统统徐徐徐徐退退火火过过程程的的一一种种通通用用随随机机搜搜索索技技术术,人人们们可可用用马马尔尔柯柯夫夫链链的的遍遍历历理理论论来给它以数学上的描述来给它以数学上的描述.在在搜搜索索最最优优解解的的过过程程中中,SA,SA算算法法除除了了可可以以接接受受优优化化解解外外,还还基基于于随随机机接接受受准准则则（Metropolis准准则则）有有限限度度地地接接受受恶恶化化解解,并并且且接接受受恶恶化化解解的的概概率率慢慢慢趋向于慢趋向于0.0.v这这使使得得算算法法有有可可能能从从局局部部最最优优中中跳跳出出,尽尽可可能能找找到到全全局最优解局最优解,并保证了算法的收敛并保证了算法的收敛.SASA的思想最早是由的思想最早是由Metropolis等等（1953）（1953）提出的提出的.vMetropolis等等提提出出了了重重要要性性采采样样法法,即即以以概概率率接接受受新新状态状态.对于某一给定温度，系统若达到热平衡状态对于某一给定温度，系统若达到热平衡状态（循环若干次循环若干次），则该状态下的能量服从，则该状态下的能量服从BottzmannBottzmann分布分布.6.1.16.1.1模拟退火模拟退火原理原理6.1.16.1.1模拟退火模拟退火原理原理v具具体体而而言言,在在温温度度tt,由由当当前前状状态态ii产产生生新新状状态态jj,两两者者的的能能量量分分别别为为EEii和和EEjj,若若EEjjEEii则则接接受受新新状状态态jj为为当当前前状状态态；否否则则,若若概率概率大大于于0,1）0,1）区区间间内内的的随随机机数数则则仍仍旧旧接接受受新新状状态态jj为为当当前前状状态态,若不成立则保留若不成立则保留ii为当前状态为当前状态,其中其中kk为为BoltzmannBoltzmann常数常数.v这这种种重重要要性性采采样样过过程程在在高高温温下下可可接接受受与与当当前前状状态态能能量量差差较较大大的的新新状状态态,而而在在低低温温下下基基本本只只接接受受与与当当前前能能量量差差较较小小的的新新状状态态,而而且且当当温温度度趋趋于于零零时时,就就不不能能接接受受比比当当前前状状态态能能量量高高的的新状态新状态.这种接受准则通常称为这种接受准则通常称为MetropolisMetropolis准则准则.6.1.16.1.1模拟退火模拟退火原理原理19831983年年KirkpatrickKirkpatrick等等人人意意识识到到组组合合优优化化与与物物理理退退火火的的相相似似性性,并并受受到到MetropolisMetropolis准准则则的的启启迪迪,首首次次把把固固体体的的退退火火过过程程与与组组合合极极小小化化联联系系在在一一起起,他他们们分分别别用用目目标标函函数数和和组组合合极极小小化化问问题题的的解解替替代代物物理理系系统统的的能能量量和和状状态态,从从而而物物理理系系统统内内粒粒子子的的摄摄动等价于组合极小化问题的试探动等价于组合极小化问题的试探.vSA是基于是基于MonteCarlo迭代求解策略的一种随机寻优算法迭代求解策略的一种随机寻优算法.v极小化过程就是极小化过程就是:

首首先先在在一一个个高高温温（温温度度现现在在就就成成为为一一个个控控制制参参数数）状状态态下下,利利用用具具有有概概率率突突跳跳特特性性的的MetropolisMetropolis抽抽样样策策略略在在解解空空间间中中进进行行随随机机搜搜索索,伴伴随随温温度度的的不不断断下下降降,重重复复抽抽样样过过程程,将有效地将有效地“溶化溶化”解空间解空间;然然后后慢慢慢慢地地降降低低温温度度直直到到系系统统“结结晶晶”到到一一个个稳稳定定解解,最终得到问题的全局最优解最终得到问题的全局最优解.6.1.16.1.1模拟退火模拟退火原理原理SASA算法在组合最优化中的成功应用掀起了算法在组合最优化中的成功应用掀起了SASA算法算法研究与应用的高潮研究与应用的高潮.v19911991年年DekkersDekkers和和AartsAarts探讨将探讨将SASA算法应用于算法应用于求解连续优化问题求解连续优化问题.v2020世纪世纪9090年代以来年代以来,SA,SA算法在算法在NNNN、GAGA、进化算、进化算法等优化、学习领域得到极大的应用法等优化、学习领域得到极大的应用.6.1.16.1.1模拟退火模拟退火原理原理vSASA算算法法的的主主要要精精髓髓是是基基于于MetropolisMetropolis准准则则可可接受求解过程的恶化解接受求解过程的恶化解.Metropolis.Metropolis准则为准则为:

粒子在温度粒子在温度TT时趋于平衡的概率为时趋于平衡的概率为其中其中EE为温度为温度TT时的内能时的内能,EE为其改变量为其改变量,kk为为BoltzmannBoltzmann常数常数.6.1.16.1.1模拟退火模拟退火原理原理利用上述固体退火原理来模拟求解组合优化问题利用上述固体退火原理来模拟求解组合优化问题时时,v将内能将内能EE模拟为目标函数值模拟为目标函数值ff,温度温度TT演化成控演化成控制参数制参数tt,v并以并以MetropolisMetropolis准则的概率准则的概率接受恶化解接受恶化解,按照上述方法即得到解组合优化问题的按照上述方法即得到解组合优化问题的SASA算算法法.6.1.16.1.1模拟退火模拟退火原理原理SASA算法的思想为算法的思想为:

v由初始解由初始解ii和控制参数初值和控制参数初值tt开始开始,对当前解重复对当前解重复产生新解产生新解计算目标函数差计算目标函数差接受或舍弃接受或舍弃的迭代的迭代,v并逐步衰减并逐步衰减tt值值,v算法终止时的当前解即为所得近似最优解算法终止时的当前解即为所得近似最优解,v这是基于蒙特卡罗迭代求解法的一种启发式随机搜这是基于蒙特卡罗迭代求解法的一种启发式随机搜索过程索过程.6.1.16.1.1模拟退火模拟退火原理原理退火过程由冷却进度表退火过程由冷却进度表（CoolingSchedule）控控制制,包括控制参数的初值包括控制参数的初值tt及其衰减因子及其衰减因子tt、每个每个tt值时的迭代次数值时的迭代次数LL和停止条件和停止条件SS.6.1.2SA6.1.2SA全局优化的直观解释全局优化的直观解释vSASA算法最重要的贡献在于其能以较大的概率算法最重要的贡献在于其能以较大的概率求取复杂优化问题的全局解求取复杂优化问题的全局解.下面通过连续函数优化的几何直观解释来说明下面通过连续函数优化的几何直观解释来说明SASA算法如何能以较大概率求得全局最优解算法如何能以较大概率求得全局最优解.考虑如下图所示的全局优化问题考虑如下图所示的全局优化问题.6.1.2SA6.1.2SA全局优化的直观解释全局优化的直观解释startingpointdescenddirectionloca