最优化方法习题一0001.docx
《最优化方法习题一0001.docx》由会员分享，可在线阅读，更多相关《最优化方法习题一0001.docx（26页珍藏版）》请在冰豆网上搜索。
最优化方法习题一0001
习题一
22
、考虑二次函数f（X）=Xi2XlX23X2XiX2
1TT
1）写出它的矩阵一向量形式：
f（X）=-xQxbx
2）矩阵Q是不是奇异的？
3）证明：
f（x）是正定的
4）f（x）是凸的吗？
T
5）写出f（x）在点处的支撑超平面（即切平面）方程
解:
1）f（x）=
2
X1
2X1X2
32
3X2
X1
X2
1
+
T
1X1
2
2
X1
X1
2X2
2
6
X2
1
X2
其中
X=
X1
2
Q=
2
1
b=
X2
2
6
1
22
2）因为Q=26
22
，所以|Q|=26=8>0即可知Q是非奇异的
22
3）因为|2|>0,=8>0,所以Q是正定的，故f（x）是正定的
26
f（x）是凸的
所以f（x）在点X处的切线方程为5（X12）+11（X21）=0
求下列函数的梯度问题和Hesse矩阵
22
2）f（x）=ln（X1+XXX2）
解：
1）
f（x）=（4X1X29X3,X16X2X32,9X1X2）
419
f（x）=161
910
232
（1）T
（1）
设f（X）=X1X22X32X2X3X2X3，取点X.验证d=（1,o,-1）是
f（X）在点X⑴处的一个下降方向，并计算mi；f（X
（1）+td
（1））
、2T
证明：
f（X）=（2x1,3x22x31,4x32x21）
T
f（X1）（2,4,5）
2
df（x）=（1，0T）4=-3<0
5
所以d⑴是f（x）在x⑴处的一个下降方向
（1）
（1）
f（X+td）=f（（1+t,1,1-t））
222
=（1t）12（1t）2（1t）1（1t）3t3t4
（1）
（1）
f（x+td）=6t-3=0所以t=0.5>0
min
（1）
（1）
f（Y+tK）=3*0.25-3*0.5+4=3.25
四、设aj
c（j=1,2,….,n）考虑问题
t0
Minf（x）=n1C
Xj
n
jia」Xjb
Xj0（j=1,2,….,n）
1）写出其KuhnTuker条件
所以j（j=1,…,n）都为0
即
C1
2
X1
C2
2+
X2
a1
a2=0
Cn
an
2
Xn
2）将XjJC代入h（x）=0只有一点
\aj
五、使用KuhnTuker条件，求问题
22
minf（x）=（X11）（X22）
X2x1
s.t.XiX22
Xi°，X20
的KuhnTuker点，并验证此点为问题的最优解
解：
x=（1/2,3/2）
0故1，
2=0
则
f（x）
1h1（x）
2h2
（x）0
即
2Xi2
1
1
0
2X24
11
21
0,
1
11
2
2
20
T
2
而
f（X）
02
故X
f（x）x80
即其为最优解
六、在习题五的条件下证明
L（X,,）L（X,,）
L（x,,）
其中L（x,,）=f（x）+
（X2X11）
（X
1X2
2）
证明：
L（x,,）=f（x）+
（X2X11）
（X
X2
2）
=f（x）
=f（X）+
（X2X11）
+
（X1
X22）=L（X,,）
=f（x）
f（x）
f（X）（X2
X1
1）
（X1X22）=L（x,
习题二
、设f（x）为定义在区间［a,b］上的实值函数，％是问题min{f（x）|axb}的最优解。
证明：
f（x）是［a,b］上的单谷函数的充要条件是对任意x「X2［a，b］,x1x2
满足f（x-i
（1）x2）（X1）
函数
“必要性”若Xi
（1）X2X
则由单谷函数定义知f（X1
（1）X2）f（X1）
故有f（X
（1）x2）max{f（X），f（x2）}
"充分性”由x<|，x2的任意性取x-i=x时，f（x2）>f（X」
则X2>X1
（1）X2>X1=X且f（X1
（1）X2）若取X2=X时,f（X1）>f（X2）
X=X1（1）X2（1）X2）满足单谷函数的定义
、设X11）证明：
满足条件
（x>（X2）f（x2）的二次函数（x）是（严格）凸
或者
证明：
1）设
2
（x）=axbxc
（X2X1）f（X1）f（X2）f（X1）
（x）2axb
由（Xi）2aXib
（X2）2aX2b
故1）得证
令
（t）
（k）
f（x
丄（k
td
）为t的凸二次函数。
要使
占
八、、：
故满足
（tk）
0
（tk）
f（
（k）
（k）、（k）
而
X
td）d
=
[Q（x（k）
td（k））b]Td（k）
Qxb
证明：
由已知，得f（x）
tk是（t）的极小点即为驻
=[Qx（k）btQd（k）]Td（k）=g：
d得tk
T
gkd
（k）
Ed
（k）
四、用共轭梯度法求解：
1222X2XX2x
T
32
minf（x）=X
取初始点
2,4）
解：
易知
第一次迭代:
f（x）（3xiX2
2,X2xi）
T
12,6）
d
（1）f（x⑴）（12,
线性搜索得步长
T
6）
T
（1）
g1d
…T
（1）
（12,6）
12
（d
（1））Ad
（12,6）
5
11217
（2）
（1）
从而xx
⑴
1d
17
第二次迭代:
T
f（x
（2））（◎咚）
X（17,17）
T"
（1）g2Ad屮沁
（1）
g2
⑴
1d
线性搜索得步长:
26
38
g2
1
298
90
289
210
289
1.7
（3）
x
（2）
x
（2）
2d
g3
（3）
f（X）
（0,0）
T
612
（）
（17,17）
*T
所以最优解为X（1,1）
五、用拟Newton法求解：
取初始点X⑴（1,1）t
解：
1）DFC法
取初始对称矩阵
H1
第一次迭代:
计算得g1
4,2）
d1H
1g1
（4,
T
2）
经一维线性搜索得:
1=0.25
X2
Xi
T
（2,0.25）
（1,
T
0.5）
（3,
T
4）
g2
1,2）
T
0.2
1*
T
%Hy
0.2
H1
H1
0.2
H2
*1
T
1y1
0.7280.204
ylHy
0.7040.472
第二次迭代
T
£2（0.32,0.24）经一维线性搜索得:
X3X2
T
2d2（4,2）
g3（0,0）
故最优解为：
x
X3
T
（4,2）
2）BFGS法
取定初始对称矩阵
Hi
第一次迭代:
计算得gi（4,2）t，
diHigi
经一维线性搜索得:
X2Xi
idi
同DFP法,
H2Hi
第二次迭代:
d2
（4,2）
i=0.25
T
（2,0.25）
初始修正矩阵hi
T
H2g2（0.4,0.3）
经一维线性搜索得:
0.2
0.2
T
Hiyii
T
$Hi
0.36
X3X22d2
T
（4,2）
T
iyi
0.02
0.02
0.i4
T
g3（0,0）
故最优解为：
x
X3（4,2）
1、给定问题
min
s.t.
习题二
22
X1X1X22X26X114X2
X1X2X32
X12X23
X1°，X2°，X30
（1）T
取初始点X，用简约梯度法求其最优解
X1X2X32
解：
约束条件为
Xi2X23
Xi°，X2°，X30
g1
I112
T
T
（1）一44
d（-
-0
4）
3
3
f（x"
d
（1））
f（X⑴
=64
240
=9
3
d
（1））d
（1）
得
9
8
gNNf（X）（B1N）Bf（X）
NdN
B
211min{—}-得1min{,max}㊁
（2）
（1）
（1）1
T
5cc、
x
x
1d（二
-00）
3
3
11
T
g2
70
0
3
43一910-9
11-37
12
1-31-3
B
N
（2）
d
X24
2投影矩阵p
3
T
A（A1A1T）
13
§
13
13
j4
13
取初始点
1T
Pg1（譽
（）f（x⑴
（1）
d
）（3
（）遐
13
39
min
max
10
88
13
66
13
0
44
2）（1后
3）
（2）
x
g2
（2）
d
3913
{66,44}
伽{,maJ
1d
（7,
6）T
13
44
13
44
（3,0）
2{1,3}
投影矩阵
TT1
A2（A2A2）A
Pg2
（0,0）T
令u2）
T1
（A2A2）A2g2
T
为其
（2,2）
⑵，3
故x（—,0）
2
K-T
占
八、、
min
f（x）
（X1
2）
2为
4X2
7
s.t.
2X1
X2
2
X1
0,X2
0
取初始点
x
（1）«
T
0,0）
解:
3、用可行方向法求解问题
（X2
2
1）
f（x）（2xi4,2x2
T
2）
迭代一:
（1）
f（x）（4,2）
有效约束I1{3,4}确定下降方向
min-4
d12d2
s.t.
d1
d2
1
i=1,2
di
解得d1
d2
1且其最优值为-6，即
（1）
x
处的搜索方向d⑴
T
（1,1）
线性搜索
f（x
（1）
（1）、
d）
（2）
x
迭代
max
2:
min{7,2}
6
-377
266
⑴
1d
f（x⑵）（
（77）
（6,6）
T
51）
3,3）
有效约束I
1{1}确定下降方向
min-
5
3d1
1
3d2
s.t.
2d14d20i=u
1di1
（1,
1）
且其最优值为-2
线性搜索
（2）
f（x
（2））
13
18
（3）
x
迭代
5
18
min{,}
18,6}
155
min{—,}
21818
max
（2）
x
（2）
2d
（13
3：
f（x）（
T
102、
99
有效约束I1{2}确定下降方向
min-
102
Jd19d2
0
i=1,2
di1
，其最优值为-9
min-
s.t.
线性搜索
f（x
（3）
max
迭代
min6
7
9
min{-,2}
6
1
9
2d
（3）
（4）
4:
f（x）
有效约束11
{1,2}
T
1,0）
确定下降方向
d1
2d1
2d1
（4）
4d2
d20i=1,2
di1
T
（0,0），其最优值为
T
（3,1）为K-T点
.527
）
49
45
26
81
14
升级会员 