最优化方法教案(1).doc

1、第一章 最优化问题与数学预备知识最优化分支：线性规划，整数规划，几何规划，非线性规划，动态规划。又称规划论。应用最优化方法解决问题时一般有以下几个特点：1. 实用性强2. 采用定量分析的科学手段3. 计算量大，必须借助于计算机4. 理论涉及面广应用领域：工业，农业，交通运输，能源开发，经济计划，企业管理，军事作战。1.1 最优化问题实例最优化问题：追求最优目标的数学问题。经典最优化理论：（1） 无约束极值问题： （或）其中，是定义在n维空间上的可微函数。解法（求极值点）：求驻点，即满足并验证这些驻点是否极值点。（2） 约束极值问题：s.t. 解法：采用Lagrange乘子法，即将问题转化为求L

2、agrange函数的无约束极值问题。近代最优化理论的实例：例1 (生产计划问题) 设某工厂有3种资源B1，B2，B3，数量各为b1，b2，b3，要生产10种产品A1，A10 。每生产一个单位的Aj需要消耗Bi的量为aij，根据合同规定，产品Aj的量不少于dj，再设Aj的单价为cj 。问如何安排生产计划，才能既完成合同，又使总收入最多？（线性规划问题）数学模型：设Aj的计划产量为，z为总产值。目标函数：约束条件： 线性规划问题通常采用单纯形法来求解。例2 (工厂设址问题) 要在m个不同地点计划修建m个规模不完全相同的工厂，他们的生产能力分别是（为简便起见，假设生产同一种产品），第i个工厂的建设费

3、用。又有n个零售商店销售这种产品，对这种产品的需求量分别为，从第i个工厂运送一个单位产品到第j个零售商店的运费为cij。试决定应修建哪个工厂，使得既满足零售商店的需求，又使建设工厂和运输的总费用最小。（混合整数规划问题）数学模型： 设第i个工厂运往第j个零售商店的产品数量为xij（i=1，m；j=1，n），且目标函数：约束条件：整数规划问题通常可用分枝定界法或割平面法来求解。例3 (投资计划问题) 假设某一个生产部门在一段时间内可用于投资的总金额为亿元，可供选择的项目总共有n个，分别记为1，2，n。并且已知对第j个项目的投资总数为亿元，而收益额总数为亿元。问如何使用资金亿元，才能使单位投资获得

4、的收益最大。（非线性规划问题）数学模型：设目标函数：约束条件： 非线性规划问题的求解方法很多，是本课的重点。动态规划是解决“多阶段决策过程”的最优化问题的一种方法，基于“Bellman最优性原理”，例如：资源分配问题，生产与存储问题。例4 (多参数曲线拟合问题)已知热敏电阻依赖于温度的函数关系为 （*）其中，是待定的参数，通过实验测得和的15组数据列表如下，如何确定参数？i12345678505560657075808534.7828.6123.6519.6316.3713.7211.549.744i910111213141590951001051101151208.2617.036.0055

5、.1474.4273.823.307建立数学模型：测量点与曲线对应的点产生“偏差”，即得如下无约束最优化问题：通常采用最小二乘法。1.2 最优化问题的数学模型一、 最优化问题的数学模型1. 定义1：设向量.若，则记或；若，则记或。2一般模型： ， （1）s.t. 其中，；，是关于变量的实值连续函数，一般可假定它们具有二阶连续偏导数。3向量模型： ， （1）s.t. 其中，称为目标函数；，称为约束函数；满足约束条件（2），（3）的点称为容许解或容许点（或可行解）；可行解的全体称为容许域（或可行域），记为R；满足（1）的容许点称为最优点或最优解（或极小（大）点），记为；称为最优值；不带约束的问题称

6、为无约束问题，带约束的问题称为约束问题；若目标函数，约束函数，都是线性函数，则称为线性规划；若其中存在非线性函数，则称为非线性规划；若变量只取整数，称为整数规划；若变量只取0，1，称为01规划。注：因，则最优化问题一般可写成二、 最优化问题的分类1.3 二维问题的图解法例1. 解：1. 由全部约束条件作图，求出可行域R：凸多边形OABC2. 作出一条目标函数的等值线：设，作该直线即为一条目标函数的等值线，并确定在可行域内，这条等值线向哪个方向平移可使值增大。3. 平移目标函数等值线，做图求解最优点，再算出最优值。顶点是最优点，即最优解，最优值。分析： 线性规划问题解的几种情况（1） 有唯一最优

7、解（上例）；（2） 有无穷多组最优解：目标函数改为（3） 无可行解：增加约束，则。（4） 无有限最优解（无界解）：例 结论：（1）线性规划问题的可行域为凸集，特殊情况下为无界域或空集。（2）线性规划问题若有最优解，一定可在其可行域的顶点上得到。例2. 解：目标函数等值线：C为最优点，得定义2：在三维及三维以上的空间中，使目标函数取同一常数的点集称为等值面。1.4 预备知识（一） 线性代数一、 n维向量空间1. 向量的内积：设，则内积为2. 向量的范数（或长度或模）：设，若实数具有以下性质：（1）当且仅当时；（2）；（3）.则称为上的向量的范数，简记为。规定了向量范数的线性空间称为线性赋范空间,

8、记为.3. 常见的向量范数向量的范数：，三个重要的向量范数：，注：若无特殊说明，本书中的指的是。4. 间的距离：5. 与正交：若非零向量组，的向量两两正交，称它们是正交向量组。6. 标准正交基：，是n个正交的单位向量，即二、 特征值和特征向量定义：设为n阶方阵，存在数和非零向量，使，则称为矩阵的特征值，非零向量为矩阵属于特征值的特征向量。三、 正定矩阵定义：设为n阶实对称方阵，若对任意非零向量，均有，则称为正定二次型，为正定矩阵，记0。；若，半正定二次型，为半正定矩阵。类似有负定（半负定）二次型，负定（半负定）矩阵的概念。性质：实对称方阵为正定矩阵（负）的特征值均为正（负）的各阶顺序主子式均为

9、正（奇数阶为负，偶数阶为正）实对称方阵为半正定矩阵的特征值均非负的各阶顺序主子式均为非负（二） 数学分析一、 梯度和海色（Hesse）矩阵1. 多元函数的可微性可微定义：设，若存在维向量，对，总有 （1）则称函数在点处可微。式（1）等价于 （2）其中，是的高阶无穷小。 定理1：（可微的必要条件）若函数在点处可微，则在该点关于各个变量的偏导数存在，且2. 梯度（1）概念梯度：令则称为n元函数在处的梯度（或记为）。又称为关于的一阶导数。注：式（2）等价于 （3）等值面：在三维和三维以上的空间中，使目标函数取同一数值的点集称为等值面（曲面）。方向导数：设在点处可微，向量，是方向上的单位向量，则极限称

10、为函数在点处沿方向的方向导数，记作。方向导数的几何解释：方向导数表示函数在点处沿方向的的变化率。函数的下降（上升）方向：设是连续函数，点，为一方向，若存在，对于，都有（）则称方向是函数在点处的下降（上升）方向；结论1：若方向导数，则方向是在点处的下降方向；若方向导数，则方向是在点处的上升方向；（2）性质【性质1】：梯度为等值面在点处的切平面的法矢（向）量。【性质2】：梯度方向是函数具有最大变化率的方向。定理2：设在点处可微，则方向导数其中，是方向上的单位向量，为梯度与的夹角。结论2：1）与梯度方向成锐角的方向是上升方向；与梯度方向成钝角的方向是下降方向；2）梯度方向是函数值上升最快的方向，称为

11、最速上升方向；负梯度方向是函数值下降最快的方向，称为最速下降方向。（3）几种特殊函数的梯度公式（1），为常数；（2），其中；（3）；（4）若是对称方阵，则.例3. 泰勒（Taylor）公式与Hesse矩阵性质1：设具有一阶连续偏导数，则 （*）其中，即介于与之间。性质2：设具有二阶连续偏导数，则 （*）其中为函数关于的二阶导数，称为的海色（Hesse）矩阵。结论1：当时，（即海色矩阵对称）。注1：1) 设向量函数时，称为向量函数在点处的导数（梯度）。2) 向量函数在点处可微是指所有分量都在点处可微。关于向量函数常见的梯度：（1），；（2），；（3）（4）设，其中，则，例：（三） 极小点的判定条

12、件（求）一、 基本概念1. 点的邻域：2. 局部极小点：设. 若存在点和数，对 都有，则称为在上的（非严格）局部极小点；若（），则称为在上的严格局部极小点。3. 全局极小点：设. 若存在点，对于 都有，则称为在上的（非严格）全局极小点；若（），则称为在上的严格全局极小点。 性质：全局极小点必是局部极小点；但局部极小点不一定是全局极小点。类似有极大点的概念。因，本书主要给出极小问题。4. 驻点：设可微，若，则称点为的驻点或临界点。 二、 极值的条件定理1（一阶必要条件）设具有一阶连续偏导数，是的内点，若是的局部极小点，则定理2（二阶必要条件）设具有二阶连续偏导数，若是的内点且为的局部极小点，则是

13、半正定的，即对恒有例定理3（二阶充分条件）设具有二阶连续偏导数，为的内点，且，若正定，则为的严格局部极小点。（四）凸函数与凸规划一、凸集1. 凸集的定义：一个n维向量空间的点集中任意两点的连线仍属于这个集合，即对，有则称该点集为凸集。2. 凸集的性质：（1）凸集的交集仍是凸集；（2）数乘凸集仍是凸集；（3）凸集的和集仍是凸集特别规定，空集是凸集。3. 超平面：设且，则集合称为中的超平面，称为该超平面的法向量，即；（是凸集）半空间：集合称为中的一个半空间。超球：。4. 凸组合：设为中的个点，若存在且，使得则称为的凸组合。若均为正，则称为严格凸组合。5. 顶点（或极点）：设是凸集，若不能用内不同两点和的凸组合表示，即，则称为的顶点。二、凸函数1. 凸函数：设，是凸集，若对及，都有则称为凸集上的凸函数；若则称为凸集上的严格凸函数。类似有凹函数的定义。2.几何意义：函数图形上连接任意两点的线段处处都在函数图形的上方。3. 性质性质1：为凸集上的凸函数，则也为上的凸函数。性质2：两个凸函数的和仍是凸函数。推论1：凸集上有限个凸函数的非负线性组合仍为上的凸函数。性质3：若为凸集上的凸函数，则对，的水平集是凸集。性质4：为凸集上的凹函数为凸集上的凸函数。