附录5《最优化方法》复习题.docx
《附录5《最优化方法》复习题.docx》由会员分享，可在线阅读，更多相关《附录5《最优化方法》复习题.docx（15页珍藏版）》请在冰豆网上搜索。
附录5《最优化方法》复习题
附录5《最优化方法》复习题
1、设是对称矩阵，，求在任意点处的梯度和Hesse矩阵．
解．
2、设，其中二阶可导，，试求．
解．
3、设方向是函数在点处的下降方向，令
，
其中为单位矩阵，证明方向也是函数在点处的下降方向．
证明 由于方向是函数在点处的下降方向，因此，从而
，
所以，方向是函数在点处的下降方向．
4、是凸集的充分必要条件是的一切凸组合都属于．
证明 充分性显然．下证必要性．设是凸集，对用归纳法证明．当时，由凸集的定义知结论成立，下面考虑时的情形．令，
其中，且．不妨设（不然，结论成立），记，有，
又，
则由归纳假设知，，而，且是凸集，故．
5、设为非空开凸集，在上可微，证明：
为上的凸函数的充要条件是．
证明 必要性．设是上的凸函数，则及，有
，
于是，
因为开集，在上可微，故令，得
，即．
充分性．若有，
则，取，从而
，，
将上述两式分别乘以和后，相加得
，
所以为凸函数．
6、证明：
凸规划的任意局部最优解必是全局最优解．
证明用反证法．设为凸规划问题的局部最优解，即存在的某个邻域，使．若不是全局最优解，则存在，使．由于为上的凸函数，因此
，有
．
当充分接近1时，可使，于是，矛盾．从而是全局最优解．
7、设为非空凸集，是具有一阶连续偏导数的凸函数，证明：
是问题的最优解的充要条件是：
．
证明必要性．若为问题的最优解．反设存在，使得
，则是函数在点处的下降方向，这与为问题的最优解矛盾．故．
充分性．若．反设存在，使得．
，
因为凸集，在上可微，故令，得
，这与已知条件矛盾，故是问题的最优解．
8、设函数具有二阶连续偏导数，是的极小点的第次近似，利用在点处的二阶Taylor展开式推导Newton法的迭代公式为
．
证明 由于具有二阶连续偏导数，故
．
且是对称矩阵，因此是二次函数．为求的极小点，可令，即，若正定，则上式解出的的平稳点就是的极小点，以它作为的极小点的第次近似，记为，即，这就得到了Newton法的迭代公式.
9、叙述常用优化算法的迭代公式．
（1）0.618法的迭代公式：
（2）Fibonacci法的迭代公式：
．
（3）Newton一维搜索法的迭代公式：
．
（4）最速下降法用于问题的迭代公式：
（5）Newton法的迭代公式：
．
（6）共轭方向法用于问题的迭代公式：
．
10、已知线性规划：
（1）用单纯形法求解该线性规划问题的最优解和最优值；
（2）写出线性规划的对偶问题；
（3）求解对偶问题的最优解和最优值．
解
（1）引进变量，将给定的线性规划问题化为标准形式：
3
1
1
1
0
0
60
1
-2
2
0
1
0
10
1
1*
-1
0
0
1
20
-2
1
-1
0
0
0
0
2
0
2
1
0
-1
40
3
0
0
0
1
2
50
1
1
-1
0
0
1
20
-3
0
0
0
0
-1
-20
所给问题的最优解为，最优值为．
（2）所给问题的对偶问题为：
（1）
（3）将上述问题化成如下等价问题：
引进变量，将上述问题化为标准形式：
（2）
-3
-1
-1
1
0
0
2
-1
2
-1*
0
1
0
-1
-1
-2
1
0
0
1
1
-60
-10
-20
0
0
0
0
-2
-3
0
1
-1
0
3
1
-2
1
0
1
0
1
-2
0
0
0
1
1
0
-40
-50
0
0
-20
0
20
问题
（2）的最优解为，最优值为（最小值）．
问题
（1）的最优解为，最优值为（最大值）．
11、用0.618法求解，要求缩短后的区间长度不超过0.2，初始区间取．
解第一次迭代：
取．
确定最初试探点分别为
，．
求目标函数值：
，．
比较目标函数值：
．
比较．
第二次迭代：
．
．
．
第三次迭代：
．
．
．
第四次迭代：
．
．
．
第五次迭代：
．
．
．
第六次迭代：
．
．
．
第七次迭代：
．
．
．
第八次迭代：
．
．
．
第九次迭代：
．
．
．
故．
12、用最速下降法求解，取，迭代两次．
解 ，
将写成的形式，则．
第一次迭代：
．
第二次迭代：
．
13、用FR共轭梯度法求解，取，迭代两次．若给定判定是否还需进行迭代计算．
解，
再写成，，．
第一次迭代：
，令，
从出发，沿进行一维搜索，即求的最优解，得
．
第一次迭代：
．，
．
从出发，沿进行一维搜索，即求
的最优解，得
．
此时
．
得问题的最优解为，无需再进行迭代计算．
14、用坐标轮换法求解，取，迭代一步．
解 从点出发，沿进行一维搜索，
即求的最优解，得
．
再从点出发，沿进行一维搜索，
即求的最优解，得
．
15、用Powell法求解，取，初始搜索方向组，给定允许误差（迭代两次）．
解第一次迭代：
令，从点出发沿进行一维搜索，易得
；
接着从点出发沿进行一维搜索，得
由此有加速方向．
因为，所以要确定调整方向．
由于，按（8.4.17）式有
，
因此，并且
．
又因，故（8.4.18）式不成立．于是，不调整搜索方向组，并令．
第二次迭代：
取，从点出发沿作一维搜索，得
．
接着从点出发沿方向作一维搜索，得
．
由此有加速方向
．
因为，所以要确定调整方向．因
，
故按（8.4.17）式易知，并且
．
由于
，
因此（8.4.18）式成立。
于是，从点出发沿作一维搜索，得
。
同时，以替换，即下一次迭代的搜索方向组取为
．
16、用外罚函数法在直线上求一点，使得到原点的距离近似最短，取．
解令，问题可归为求解如下最优化问题
引入罚函数．
则原约束最优化问题相应的一系列无约束最优化问题为：
，其中．
解上述无约束问题，得，
同时．
依次对用上述公式计算和，结果如下表所示．
1
0.5
2
1.2500
2
1
3
1.1111
3
2
5
8.0000
4
4
9
4.9383
5
8
17
2.7682
6
16
33
1.4692
7
32
65
7.5740
8
64
129
3.8459
9
128
257
1.9380
10
256
513
9.7276
11
512
1025
4.8733
12
1024
2049
2.4390
13
2048
4097
1.2201
14
4096
8193
6.102
由迭代终止条件可得原约束问题的近似最优解（保留4位有效数字）．
升级会员 