最优化方法教案(1).doc
《最优化方法教案(1).doc》由会员分享，可在线阅读，更多相关《最优化方法教案(1).doc（34页珍藏版）》请在冰豆网上搜索。
第一章最优化问题与数学预备知识
最优化分支：
线性规划，整数规划，几何规划，非线性规划，动态规划。
又称规划论。
应用最优化方法解决问题时一般有以下几个特点：
1.实用性强
2.采用定量分析的科学手段
3.计算量大，必须借助于计算机
4.理论涉及面广
应用领域：
工业，农业，交通运输，能源开发，经济计划，企业
管理，军事作战……。
§1.1最优化问题实例
最优化问题：
追求最优目标的数学问题。
经典最优化理论：
（1）无约束极值问题：
（或）
其中，是定义在n维空间上的可微函数。
解法（求极值点）：
求驻点，即满足
并验证这些驻点是否极值点。
（2）约束极值问题：
s.t.
解法：
采用Lagrange乘子法，即将问题转化为求Lagrange函数
的无约束极值问题。
近代最优化理论的实例：
例1（生产计划问题）设某工厂有3种资源B1，B2，B3，数量各为b1，b2，b3，要生产10种产品A1，…，A10。
每生产一个单位的Aj需要消耗Bi的量为aij，根据合同规定，产品Aj的量不少于dj，再设Aj的单价为cj。
问如何安排生产计划，才能既完成合同，又使总收入最多？
（线性规划问题）
数学模型：
设Aj的计划产量为，z为总产值。
目标函数：
约束条件：
线性规划问题通常采用单纯形法来求解。
例2（工厂设址问题）要在m个不同地点计划修建m个规模不完全相同的工厂，他们的生产能力分别是（为简便起见，假设生产同一种产品），第i个工厂的建设费用。
又有n个零售商店销售这种产品，对这种产品的需求量分别为，从第i个工厂运送一个单位产品到第j个零售商店的运费为cij。
试决定应修建哪个工厂，使得既满足零售商店的需求，又使建设工厂和运输的总费用最小。
（混合整数规划问题）
数学模型：
设第i个工厂运往第j个零售商店的产品数量为xij（i=1，…，m；j=1，…，n），且
目标函数：
约束条件：
整数规划问题通常可用分枝定界法或割平面法来求解。
例3（投资计划问题）假设某一个生产部门在一段时间内可用于投资的总金额为亿元，可供选择的项目总共有n个，分别记为1，2，…n。
并且已知对第j个项目的投资总数为亿元，而收益额总数为亿元。
问如何使用资金亿元，才能使单位投资获得的收益最大。
（非线性规划问题）
数学模型：
设
目标函数：
约束条件：
非线性规划问题的求解方法很多，是本课的重点。
动态规划是解决“多阶段决策过程”的最优化问题的一种方法，基于“Bellman最优性原理”，例如：
资源分配问题，生产与存储问题。
例4（多参数曲线拟合问题）已知热敏电阻依赖于温度的函数关系为
（*）
其中，是待定的参数，通过实验测得和的15组数据列表如下，如何确定参数？
i
1
2
3
4
5
6
7
8
50
55
60
65
70
75
80
85
34.78
28.61
23.65
19.63
16.37
13.72
11.54
9.744
i
9
10
11
12
13
14
15
90
95
100
105
110
115
120
8.261
7.03
6.005
5.147
4.427
3.82
3.307
建立数学模型：
测量点与曲线对应的点产生“偏差”，即
得如下无约束最优化问题：
通常采用最小二乘法。
§1.2最优化问题的数学模型
一、最优化问题的数学模型
1.定义1：
设向量.
若，则记或；
若，则记或。
2．一般模型：
，
（1）
s.t.
其中，；，，是关于变量的实值连续函数，一般可假定它们具有二阶连续偏导数。
3．向量模型：
，
（1）
s.t.
其中，称为目标函数；
，称为约束函数；
满足约束条件
（2），（3）的点称为容许解或容许点（或可行解）；
可行解的全体称为容许域（或可行域），记为R；
满足
（1）的容许点称为最优点或最优解（或极小（大）点），记为；称为最优值；
不带约束的问题称为无约束问题，带约束的问题称为约束问题；
若目标函数，约束函数，都是线性函数，则称为线性规划；若其中存在非线性函数，则称为非线性规划；
若变量只取整数，称为整数规划；
若变量只取0，1，称为0—1规划。
注：
因，，则最优化问题一般可
写成
二、最优化问题的分类
§1.3二维问题的图解法
例1.
解：
1.由全部约束条件作图，求出可行域R：
凸多边形OABC
2.作出一条目标函数的等值线：
设，作该直线即为一条目标函数的等值线，并确定在可行域内，这条等值线向哪个方向平移可使值增大。
3.平移目标函数等值线，做图求解最优点，再算出最优值。
顶点是最优点，即最优解，最优值。
分析：
线性规划问题解的几种情况
（1）有唯一最优解（上例）；
（2）有无穷多组最优解：
目标函数改为
（3）无可行解：
增加约束，则。
（4）无有限最优解（无界解）：
例
结论：
（1）线性规划问题的可行域为凸集，特殊情况下为无界域或空集。
（2）线性规划问题若有最优解，一定可在其可行域的顶点上得到。
例2.
解：
目标函数等值线：
C为最优点，得
定义2：
在三维及三维以上的空间中，使目标函数取同一常数的点集称为等值面。
§1.4预备知识
（一）线性代数
一、n维向量空间
1.向量的内积：
设，则
内积为
2.向量的范数（或长度或模）：
设，若实数具有以下
性质：
（1）当且仅当时；
（2）；
（3）.
则称为上的向量的范数，简记为。
规定了向量范数的线性空间称为线性赋范空间,记为.
3.常见的向量范数
向量的范数：
，
三个重要的向量范数：
，，
注：
若无特殊说明，本书中的指的是。
4.间的距离：
5.与正交：
若非零向量组，…，的向量两两正交，称它们是正交向量组。
6.标准正交基：
，…，是n个正交的单位向量，即
二、特征值和特征向量
定义：
设为n阶方阵，存在数和非零向量，使
，
则称为矩阵的特征值，非零向量为矩阵属于特征值的特征向量。
三、正定矩阵
定义：
设为n阶实对称方阵，若对任意非零向量，均有，则称为正定二次型，为正定矩阵，记>0。
；若，半正定二次型，为半正定矩阵。
类似有负定（半负定）二次型，负定（半负定）矩阵的概念。
性质：
实对称方阵为正定矩阵（负）的特征值均为正（负）
的各阶顺序主子式均为正（奇数阶为负，偶数阶为正）
实对称方阵为半正定矩阵的特征值均非负
的各阶顺序主子式均为非负
（二）数学分析
一、梯度和海色（Hesse）矩阵
1.多元函数的可微性
可微定义：
设，，若存在维向
量，对，总有
（1）
则称函数在点处可微。
式
（1）等价于
（2）
其中，是的高阶无穷小。
定理1：
（可微的必要条件）若函数在点处可微，则在该点关于各个变量的偏导数存在，且
2.梯度
（1）概念
梯度：
令
则称为n元函数在处的梯度（或记为）。
又称为关于的一阶导数。
注：
式
（2）等价于
（3）
等值面：
在三维和三维以上的空间中，使目标函数取同一
数值的点集称为等值面（曲面）。
方向导数：
设在点处可微，向量，是方向上的单位向量，则极限
称为函数在点处沿方向的方向导数，记作。
方向导数的几何解释：
方向导数表示函数在点处沿方向的的变化率。
函数的下降（上升）方向：
设是连续函数，点，为一方向，若存在，对于，都有
（）
则称方向是函数在点处的下降（上升）方向；
结论1：
若方向导数，则方向是在点处的下降方向；若方向导数，则方向是在点处的上升方向；
（2）性质
【性质1】：
梯度为等值面在点处的
切平面的法矢（向）量。
【性质2】：
梯度方向是函数具有最大变化率的方向。
定理2：
设在点处可微，则方向导数
其中，是方向上的单位向量，为梯度与的夹角。
结论2：
1）与梯度方向成锐角的方向是上升方向；与梯度方向成钝角的方向是下降方向；
2）梯度方向是函数值上升最快的方向，称为最速上升方向；负梯度方向是函数值下降最快的方向，称为最速下降方向。
（3）几种特殊函数的梯度公式
（1），为常数；
（2），其中；
（3）；
（4）若是对称方阵，则.
例
3.泰勒（Taylor）公式与Hesse矩阵
性质1：
设具有一阶连续偏导数，则
（*）
其中，，即介于与之间。
性质2：
设具有二阶连续偏导数，则
（*‘ ）
其中
为函数关于的二阶导数，称为的海色（Hesse）矩阵。
结论1：
当时，（即海色矩阵对称）。
注1：
1）设向量函数时，
称为向量函数在点处的导数（梯度）。
2）向量函数在点处可微是指所有分量都在点处可微。
关于向量函数常见的梯度：
（1），；
（2），；
（3）
（4）设，其中，，则
，
例：
（三）极小点的判定条件（求）
一、基本概念
1.点的邻域：
2.局部极小点：
设.若存在点和数，对都有，则称为在上的（非严格）局部极小点；若（），则称为在上的严格局部极小点。
3.全局极小点：
设.若存在点，对于
都有，则称为在上的（非严格）全局极小点；若（），则称为在上的严格全局极小点。
性质：
全局极小点必是局部极小点；但局部极小点不一定是全局极小点。
类似有极大点的概念。
因，本书主要给出极小问题。
4.驻点：
设可微，，若，
则称点为的驻点或临界点。
二、极值的条件
定理1（一阶必要条件）设具有一阶连续偏导数，是的内点，若是的局部极小点，则
定理2（二阶必要条件）设具有二阶连续偏导数，若是的内点且为的局部极小点，则是半正定的，即对恒有
例
定理3（二阶充分条件）设具有二阶连续偏导数，为的内点，且，若正定，则为的严格局部极小点。
（四）凸函数与凸规划
一、凸集
1.凸集的定义：
一个n维向量空间的点集中任意两点的连线仍属于这个集合，即对，有
则称该点集为凸集。
2.凸集的性质：
（1）凸集的交集仍是凸集；
（2）数乘凸集仍是凸集；
（3）凸集的和集仍是凸集
特别规定，空集是凸集。
3.超平面：
设且，则集合
称为中的超平面，称为该超平面的法向量，即；（是凸集）
半空间：
集合称为中的一个半空间。
超球：
。
4.凸组合：
设为中的个点，若存在且，使得
则称为的凸组合。
若均为正，则称为严格凸组合。
5.顶点（或极点）：
设是凸集，，若不能用内不同两点和的凸组合表示，即，则称为的顶点。
二、凸函数
1.凸函数：
设，是凸集，若对
及，都有
则称为凸集上的凸函数；若
则称为凸集上的严格凸函数。
类似有凹函数的定义。
2.几何意义：
函数图形上连接任意两点的线段处处都在函数图形的上方。
3.性质
性质1：
为凸集上的凸函数，，则也为上
的凸函数。
性质2：
两个凸函数的和仍是凸函数。
推论1：
凸集上有限个凸函数的非负线性组合
仍为上的凸函数。
性质3：
若为凸集上的凸函数，则对，的
水平集是凸集。
性质4：
为凸集上的凹函数为凸集上的凸函数。
升级会员 