最优化方法课件.ppt

最优化方法课件.ppt

《最优化方法课件.ppt》由会员分享，可在线阅读，更多相关《最优化方法课件.ppt（488页珍藏版）》请在冰豆网上搜索。

最优化方法,南京邮电大学理学院,2,前言一、什么是最优化最优化是一门应用性相当广泛的学科，它讨论决策问题的最佳选择之特性，寻找最佳的计算方法，研究这些计算方法的理论性质及其实际计算表现。

应用范围：

信息工程及设计、经济规划、生产管理、交通运输、国防工业以及科学研究等诸多领域。

3,二、包含的内容按照优化思想分为经典方法与现代方法。

经典方法主要包括：

线性规划、非线性规划、整数规划、动态规划等现代方法主要包括：

随机规划、模糊规划、模拟退火算法、遗传算法、禁忌搜索和人工神经网络等。

我们学习的内容主要是经典的最优化方法。

内容包括线性规划及其对偶规划，无约束最优化方法、约束最优化方法等主要内容。

4,三、学习方法1、认真听讲，课后及时复习巩固，并主动完成课后习题。

2、多看参考书，通过不同学者的讲述，全方位理解最优化方法的思想方法和应用，特别是计算方法。

3、学以致用，通过最优化方法的学习，培养研究生数学建模的能力和解决实际问题的能力。

大家可以尝试对于一些实际问题，先建立数学模型，转化为数学问题，通过一些算法解决。

5,四、主要参考书教材：

解可新、韩健、林友联：

最优化方法（修订版），天津大学出版社，2004年8月。

其它参考书：

1.蒋金山，何春雄，潘少华：

最优化计算方法，广州：

华南理工大学出版社，2007年10月。

2.谢政，李建平，汤泽滢：

非线性最优化。

长沙：

国防科技大学出版社，2003年9月。

3.李董辉等：

数值最优化。

北京：

科学出版社，2005年。

4.谢政，李建平，陈挚：

非线性最优化理论与方法。

北京：

高等教育出版社，2010年1月。

目录,第一章最优化问题概述第二章线性规划第三章无约束最优化方法第四章约束最优化方法,6,第一章最优化问题概述,1.1最优化问题的数学模型与基本概念,8,例1.1.1运输问题,设有m个水泥厂A1,A2,Am,年产量各为a1,a2,am吨.有k个城市B1,B2,Bk用这些水泥厂生产的水泥,年需求量b1,b2,bk吨.再设由Ai到Bj每吨水泥的运价为cij元.假设产销是平衡的,即:

9,试设计一个调运方案,在满足需要的同时使总运费最省.,由题意可画出如下的运输费用图:

10,A1,B2,Am,B1,A2,Bk,产量,需求量,设AiBj的水泥量为xij,已知AiBj单价为cij,单位为元,则总运费为:

11,数学模型:

注:

平衡条件作为已知条件并不出现在约束条件中.,例1.1.2生产计划问题,设某工厂有m种资源B1,B2,Bm,数量分别为:

b1,b2,bm,用这些资源产n种产品A1,A2,An.每生产一个单位的Aj产品需要消耗资源Bi的量为aij,根据合同规定,产品Aj的量不少于dj.再设Aj的单价为cj.问如何安排生产计划,才能既完成合同,又使该厂总收入最多?

12,13,假设产品Aj的计划产量为xj.由题意可画出如下的生产与消耗的关系图:

B1,B2,Bm,An,A2,A1,消耗,数学模型,14,例1.1.3指派问题,设有四项任务B1,B2,B3,B4派四个人A1,A2,A3,A4去完成.每个人都可以承担四项任务中的任何一项,但所消耗的资金不同.设Ai完成Bj所需资金为cij.如何分配任务,使总支出最少?

设变量,15,指派Ai完成bj,不指派Ai完成bj,则总支出可表示为:

16,数学模型:

例1.1.4数据拟合问题,在实验数据处理或统计资料分析中常遇到如下问题.设两个变量x和y,已知存在函数关系,但其解析表达式或者是未知的或者虽然为已知的但过于复杂.设已取得一组数据:

（xi,yi）i=1,2,m.根据这一组数据导出函数y=f（x）的一个简单而近似的解析表式.,17,最小二乘法,解这种问题常用的方法是最小二乘法,以一个简单的函数序列j1（x）,j2（x）,jn（x）为基本函数.一般选取1,x,x2,xn为基本函数,即以,18,作为近似表达式.,最小二乘法,系数的选取要使得下面得平方和最小:

19,因此,数据拟合问题得数学模型为,其中xi,yi（i=1,2,m）及jj（x）（j=0,1,n）为已知.,最优化问题,最优化问题的一般形式为:

20,（1.1）（目标函数）,（1.3）（不等式约束）,（1.2）（等式约束）,其中x是n维向量.在实际应用中,可以将求最大值的目标函数取相反数后统一成公式中求最小值的形式.我们总是讨论,P:

相关定义,定义1.1.1（可行解）满足约束条件（1.2）和（1.3）的x称为可行解,也称为可行点或容许点.,21,定义1.1.2（可行域）全体可行解构成的集合称为可行域,也称为容许集,记为D,即:

D=x|hi（x）=0,i=1,m,gj（x）0,j=1,p,xRn.若hi（x）,gj（x）为连续函数,则D为闭集.,相关定义,定义1.1.3（整体最优解）若x*D,对于一切xD恒有f（x*）f（x）,则称x*为最优化问题（P）的整体最优解.若x*D,xx*,恒有f（x*）f（x）,则称x*为最优化问题（P）的严格整体最优解.,22,相关定义,定义1.1.4（局部最优解）若x*D,存在x*的某邻域Ne（x*）,使得对于一切xDNe（x*）,恒有f（x*）f（x）,则称为最优化问题（P）的局部最优解,其中Ne（x*）=x|x-x*|0.当xx*时,若上面的不等式为严格不等式则称x*为问题（P）的严格局部最优解.显然,整体最优解一定是局部最优解,而局部最优解不一定是整体最优解.x*对应的目标函数值f（x*）称为最优值，记为f*.,23,相关定义,求解最优化问题（P）,就是求目标函数f（x）在约束条件（1.2）,（1.3）下的极小点,实际上是求可行域D上的整体最优解.但是,在一般情况下,整体最优解是很难求出的,往往只能求出局部最优解.在求解时需要范数的概念，以下给出定义。

24,向量范数,定义1.1.5如果向量xRn的某个实值函数|x|,满足条件

（1）|x|0（|x|=0当且仅当x=0）（正定性）;

（2）|ax|=|a|x|（对于任意aR）;（3）|x+y|x|+|y|（三角不等式）;则称|x|为Rn上的一个向量范数.,25,常用的向量范数,1-范数,26,2-范数（欧氏范数）,-范数,-范数,-范数是p-范数的极限,常用的向量范数,对向量x=（1,-2,3）T,有,27,|x|p是p的单调递减函数.,最优化问题的分类,根据数学模型中有无约束函数分为有约束的最优化问题和无约束的最优化问题.根据目标函数和约束函数的函数类型分类:

线性最优化问题,非线性最优化问题,二次规划,多目标规划,动态规划,整数规划,0-1规划.,28,1.2最优化问题的一般算法,29,迭代算法,迭代算法选取一个初始可行点x0D,由这个初始可行点出发,依次产生一个可行点列:

x1,x2,xk,记为xk,使得某个xk恰好是问题的一个最优解,或者该点列收敛到问题的一个最优解x*.下降算法在迭代算法中一般要求f（xk+1）f（xk）.,30,可行点列的产生,在xk处求得一个方向pk（下降方向）,在射线xk+apk（a0）上求一点:

xk+1=xk+akpk使得f（xk+1）f（xk）.其中ak称为步长.定义1.2.1（下降方向）在点xk处,对于方向pk0,若存在实数b0,使得任意的a（0,b）,有:

f（xk+apk）f（xk）,则称pk为函数f（x）在点xk处的一个下降方向.,31,下降方向,若f（x）具有连续的一阶偏导数,令由Taylor公式:

32,当gkTpk0时,f（xk+apk）f（xk）,所以pk是f（x）在xk处的一个下降方向.反之,当pk是f（x）在xk处的一个下降方向时,有gkTpk0.通常称满足gkTpk0的方向pk是为f（x）在xk处的一个下降方向.称为f（x）在x处的梯度。

可行方向,定义1.2.2（可行方向）已知区域,xkD,对于向量pk0,若存在实数b0,使得对任意的a（0,b）,有:

xk+apkD,33,则称pk为点xk处关于区域D的可行方向.对于D的内点（存在邻域包含于D）,任意方向可行,对于边界点（任意邻域既有D的点也有不在D中的点）,则有些方向可行,有些方向不可行.若下降方向关于域D可行,则称为可行下降方向.,最优化问题的算法的一般迭代格式,给定初始点x0,令k=0.

（1）确定xk处的可行下降方向pk;

（2）确定步长ak,使得f（xk+akpk）f（xk）,（3）令xk+1=xk+akpk;（4）若xk+1满足某种终止准则,则停止迭代,以xk+1为近似最优解;或者已经达到最大迭代步数,也可终止迭代.否则令k:

=k+1,转

（1）,34,收敛性,如果一个算法只有当初始点x0充分接近x*时,产生的点列才收敛于x*,则称该算法为具有局部收敛的算法.如果对任意的x0D,由算法产生的点列都收敛x*,则称该算法为具有全局收敛的算法.由于一般情况下最优解x*是未知的,所以只有具有全局收敛性的算法才有实用意义.但算法的局部收敛性分析,在理论上是重要的,因为它是全局收敛性分析的基础。

35,收敛速度,定义1.2.3设序列xk收敛于x*,而且,36,若0b1,则称xk为线性收敛的,称b为收敛比;,定义1.2.4设序列xk收敛于x*,而且,若b=0,则称xk为超线性收敛的.,则称xk为p阶收敛.,终止准则,对于一种算法,应该有某种终止准则,当某次迭代满足终止准则时,就停止迭代.常用的终止准则有:

37,

（1）,或,

（2）,或,（3）,（4）上面三种准则的组合.注:

其中e0是预先给定的.,1.3二维最优化问题的几何解释,38,理论分析,二维最优化问题的目标函数z=f（x1,x2）表示三维空间R3中的曲面.在空间直角坐标系O-x1x2z中,平面z=c与曲面z=f（x1,x2）的交线在0-x1x2平面上的投影曲线为:

39,取不同的c值得到不同的投影曲线,每一条投影曲线对应一个c值,称投影曲线为目标函数的等值线或等高线.,40,理论分析,求目标函数z=f（x1,x2）在可行域D上的极小点,是在与可行域D有交集的等值线中找出具有最小值的等值线.也就是在可行域D上沿着f（x1,x2）的负梯度方向或某种下降方向上找取得最小值c的点.,41,例1.3.1,解首先画出可行域D,目标函数的等值线是以点（1,2）为圆心的一族圆.f（x1,x2）的梯度为,42,例1.3.1,负梯度方向（下降方向）指向等值线圆心,所以等值线与可行域D的边界相切的点x*=（1/2,3/2）T是此问题的最优解,目标函数的最优值为1/2.,43,例1.3.2,解首先画出可行域D的图形.D为凸多边形ODEFGO.再以c为参数画出目标函数的等值线2x1+3x2=c.,44,例1.3.2,目标函数c的值由小到大逐渐增加,等值线沿着目标函数的梯度方向平行移动.当移动到点E时,再移动就与可行域D不相交了,所以顶点E就是最优点,最优值为14.,45,例1.3.3,解如图所示,可行域只能是圆弧ABE,其中点A和点E是等值线x1x2+1=0和圆x12+x22-9=0的交点.注意到等值线是平行的抛物线,图中画出了几条目标函数的等值线.容易看出B点是最优点,所以最优解是（0,-3）T,最优值为-3.,46,1.4一维搜索,47,问题描述,已知xk,并且求出了xk处的可行下降方向pk,从xk出发,沿方向pk求目标函数的最优解,即求解问题:

48,设其最优解为ak,于是得到一个新点xk+1=xk+akpk所以一维搜索是求解一元函数f（a）的最优化问题（也叫一维最优化问题）.我们来求解令（）=0,求出的值。

1.4.1黄金分割法,设f（x）在a,b上为下单峰函数,即有唯一的极小点x*,在x*左边f（x）严格下降,在x*右边f（x）严格上升.,49,在a,b内任取x1x2,若f（x1）f（x2）,则x*x1,b.,若f（x1）f（x2）,则x*a,x2,黄金分割法,我们希望保留Fibonacci方法的优点（效率最高是不可能保留的）,改进其缺点.若第一次选取的试点为x1x2,则下一步保留的区间为a,x2或x1,b,两者的