最优化理论与算法_精品文档.pdf
《最优化理论与算法_精品文档.pdf》由会员分享，可在线阅读，更多相关《最优化理论与算法_精品文档.pdf（36页珍藏版）》请在冰豆网上搜索。
i883?
zzz13.15.13.2?
95.43.3e.123.4.153.5.223.6?
F.278ii11n?
z1n?
z1?
n?
3）55yK?
LI（|（,:
X,?
|?
|（?
3.15?
!
?
KminxRnf（x）,（3.1.1）?
5,）?
.4?
:
?
a.k4?
:
?
4?
:
.AT,S1?
（）4?
:
?
4?
:
.5?
4?
:
?
（J?
.3SA,4?
:
v?
K?
.d,?
4?
:
4?
:
.=?
Kk,5,4?
:
?
4?
:
.?
f?
3,OLg（x）=f（x）,G（x）=2f（x）.!
e3.1.1?
x,dRn.e30?
f（x+d）f（x）,（0,）,Kdf3x:
?
eedf3x?
eKdf3x:
?
e?
A?
:
lx?
udf?
N4e-（）=f（x+d）,Kdf3x?
e?
du3?
:
?
Ne?
0（0）0l?
kn3.1.1?
fYf（x）6=0.1edvf（x）Td0Kf3x?
e2e?
HRnn?
Kd=Hf（x）f3x?
eAO?
d=f（x）f3x?
e3.152y21?
A/y1?
f（x）Td0?
f（x+d）=f（x）+f（x）Td+o（）0KxK（3.1.1）?
4?
:
2?
n1?
/?
!
7n3.1.2（?
7）?
f:
DRnR3m8DY.exD（3.1.1）?
4?
:
Kf（x）=0.（3.1.2）y?
x4?
:
S?
x（k）=xkf（x）.|Taylor,u?
k,k0f（x（k）f（x）=kf（x）Tf（k）,kx（k）x?
|.k,?
4.dufC1,?
k0kf（x）k2.w,=?
f（x）=0,.n3.1.3（?
7）?
f:
DRnR3m8D?
Y,exD（3.1.1）?
4?
:
Kf（x）=0,2f（x）?
0,（3.1.3）y（3.1.3）13n3.1.2y,?
Ly1?
.S?
x（k）=x+kd,d?
.dufC2f（x）=0,?
dTaylor,u?
k,k0f（x（k）f（x）=122kdT2f（k）d,kx（k）x?
|.dux4?
:
fC2,K122k,?
4,?
dT2f（x）d0,dRn.l?
（2.1.3）1?
.31n?
zvf（x）=0?
:
xf?
-:
7:
.XJf（x）=0,KxU4?
:
U4:
U4:
.Q4?
:
4:
?
-:
?
Q:
.Xx=0f（x）=x2?
4?
:
?
f（x）=x3?
4:
n!
n3.1.4（?
）?
f:
DRnR3m8D?
Y,KxDf?
4?
:
?
f（x）=02f（x）?
0.（3.1.4）y?
（3.1.4）,KdTaylor,?
d,f（x+d）=f（x）+122dT2f（x+d）d.du2f（x）?
fC2,?
J,?
x+dN（x）,l?
dT2f（x+d）d0,?
f（x+d）f（x）,=x4?
:
.5n3.1.4?
7Xx=（0,0）Tf（x）=x41+x42?
4?
:
?
2f（x）?
3.1.5|4）Kminf（x）=13x31+13x32x21x2.）?
O?
f（x）=x212x1x221!
2f（x）=2x12002x2!
.df（x）=0?
-:
x
（1）=01!
x
（2）=01!
x（3）=21!
x（4）=21!
q2f（x（3）=2002!
?
x（3）4?
:
/,8I?
-:
4?
:
.?
e8I,K-:
4?
:
?
4?
:
.n3.1.6（5n）?
f:
RnRY.Kf?
4?
:
?
4?
:
xK（3.1.1）?
）?
7f（x）=0.3.2?
954ykyf?
4?
:
?
:
?
xf?
4?
:
K3x?
+U（x）?
f（x）f（x）,xU（x）.?
xRn?
0?
x+（xx）U（x）.df?
5?
f（x）f（x+（xx）f（x）+
（1）f（x）.?
f（x）f（x）=xf?
4?
:
eyxK（3.1.1）?
）?
f（x）=0.fRn?
f（x）=0,?
kf（x）f（x）f（x）（xx）=0,xD.LxDf?
4?
:
.3.2?
95?
z?
e?
gl,:
x（0）u?
E:
?
x（k）?
f（xk+1）f（x（k）,k=0,1,.?
8I:
?
x（k）?
:
4:
K（3.1.1）?
）-:
!
e?
d（k）f3x（k）?
ef（x（k）Td（k）0?
f（x（k）+d（k）0?
f（x（k）+kd（k）f（x（k）.3.2.11.:
x（0）Rn0-k=02.ekf（x（k）k?
）x（k）K=33.（ed（k）?
f（x（k）Td（k）0?
f（x（k）+kd（k）0f（x（k）+d（k）,（）（3.2.1）?
kKkf（x（k）+kd（k）Td（k）=0.=?
k=argmin0（）=f（x（k）+d（k）k=U?
yve?
3d（k）eD=f（x（k）f（x（k）+kd（k）?
I?
O3SOLduOiO?
n?
Cq）u?
g4?
zKminf（x）=12xTQx+qTx,QRnn?
d（k）f3x（k）?
evf（x（k）Td（k）0eD=f（x（k）f（x（k+1）?
k?
=?
yve?
I?
OL|?
O?
J（|70.6187（|?
u?
4?
Kk?
m?
Vg3.2.1?
:
a,bRe3ta,b（t）3a,t43t,b4OKa,b（t）?
mw,（t）3?
mk?
4?
:
ty3y?
m?
k?
5n3.2.2?
a,b（t）?
m,a,b（）K,b（t）?
m3.2?
956y?
t（t）3a,b?
4?
:
1da,b（t）?
mIytyb?
tKa,b（t）?
m（）gdt2nyn3.2.2?
3uL?
（t）3:
?
m?
7|?
5y3|Kmin（t）s.t.ta,b（3.2.3）a,b（t）?
mK3?
ta,bt（3.2.3）?
）7?
gL?
c?
m?
&:
?
8I,?
m?
#?
&:
?
m?
m?
:
（3.2.3）?
Cq）?
ai,bi?
c?
mi,i（ai,bi）?
c&:
i（i）Ki,bi（t）?
m?
-ai+1=i,bi+1=biv1?
m?
（0,1）?
=bi+1ai+1=（biai）;（3.2.6）21e?
i2e?
iai+1,bi+1?
&:
31ek1d（3.2.6）（3.2.5）“（3.2.4）?
i=ai+
（1）（biai）,i=ai+（biai）.（3.2.7）22d（3.2.7）!
（3.2.5）（3.2.6）i+1=ai+1+
（1）（bi+1ai+1）=ai+
（1）（biai）,（3.2.8）71n?
zi+1=ai+1+（bi+1ai+1）=ai+2（biai）,（3.2.9）?
（3.2.8）（3.2.7）（0,1）i+1Ui?
ki+1=idd?
2=1=5120.6180339887418948.（3.2.10）32e?
i+1=i（3.2.10）=5127X7|7X?
m?
1?
e7?
NS“3.2.371.?
ma,b07Xeba?
t=（b+a）/2K=22.z-a0,b0=a,b0=a0+
（1）（b0a0）0=a0+（b0a0）（0）（0）-i=0=33.?
8Ie（i）（i）=4K=54.|-ai+1=aibi+1=ii+1=i（i+1）=（i）i+1=ai+1+（bi+1i+1）（i+1）=65.m|-ai+1=ibi+1=bii+1=i（i+1）=（i）i+1=bi+1（i+1ai+1）（i+1）=66.?
Oebi+1ai+1?
t=（bi+1ai+1）/2K=77.-#m?
Oei+1i+1Ki=i+1=3Ka=ai+1b=bi+1=23.2.47zKmint0,3t3t+1?
）?
（|（|?
8?
I?
O?
（|?
8?
K?
8I?
e?
）=?
I?
O（|Kmin（t）s.t.ta,b（3.2.11）?
）t（t）=f（x（k）+td（k）x（k）S“:
d（k）K（3.1.1）3x（k）?
|0（0）=f（x（k）Td（k）0-?
tk=tK#?
S“:
x（k+1）=x（k）+tkd（k）eD=f（x（k）f（x（k）+tkd（k）=（0）（t）.3.2?
958e0?
（|1!
Armijo.|?
d（k）f3x（k）?
evf（x（k）Td（k）0?
f（x（k）+kd（k）f（x（k）+1kf（x（k）Td（k）,（3.2.12）=（k）（0）+1k0（0）.（3.2.12）?
kFkU?
0,（0,1）?
k8i,i=0,1,?
（3.2.12）?
3.2.5Armijo.|1.ek=1v（3.2.12）K?
k=1K=22.0,（0,1）-k=3.ev（3.2.12）KO?
kK=44.-k:
=k=351k=1-?
3?
-?
2&U?
e（0,1）?
K?
g&?
UC?
Ig|U?
ke（0,1）?
K?
g&?
UC?
dL?
|?
k?
kU?
3.2.6?
Kminf（x）=12x21+x22.?
x（0）=（1,1）T?
yd（0）=（1,1）Tf3x（0）?
eArmijo|（0=0.5i?
f（x（0）+0d（0）f（x（0）+0.90f（x（0）Td（0）.2!
WolfePowell.|Armijo.|?
WolfePowell.|WolfePowell.|1,2v0112,120?
（f（x（k）+kd（k）f（x（k）+1kf（x（k）Td（k）,f（x（k）+kd（k）Td（k）2f（x（k）Td（k）,（3.2.13）=（k）（0）+1k0（0）,0（k）20（0）.91n?
zyed（k）f3x（k）?
ef（x（k）Td（k）0ke.K3ma,b?
a,b?
:
vWolfePowell.|（3.2.13）WolfePowell.|Armijo.|?
（3.2.13）?
1?
3uL?
yL1UArmijo|（:
（0）k=i?
（0）kv（3.2.13）?
1?
P（0）k:
=1（0）k2e（0）kv（3.2.13）?
1?
1（0,1）-
（1）k8（0）k+i1（0）k（0）k）,i=0,1,?
（3.2.13）1?
3e
（1）kv（3.2.13）?
1?
-
（1）k=11
（1）k-EdL?
（ik）kv（3.2.13）?
3.2.7WolfePowell.|1.ek=1v（3.2.13）K?
k=1K=22.0,1（0,1）-（0）k8i,i=0,1,2,?
（3.2.13）1?
-i=03.e（i）kv（3.2.13）1?
KO?
k=（i）kK-（i）k=1（i）k=44.-（i+1）k8（i）k+i1（i）k（i）k）,i=0,1,?
（3.2.13）1?
-i:
=i+1=3n!
5（Je3.2.1?
55kLd（k）f?
KFf（x（k）?
Y?
=cosk=f（x（k）Td（k）kf（x（k）kkd（k）k.（3.2.14）?
5n3.2.8?
f（x）Yke.fLipschitzY=3L0?
kf（x）f（y）kLkxyk,x,yRn.?
x（k）d3.2.1?
）kd（|（KXi=0kf（x（k）k2cos2k0?
coskKlimkkf（x（k）k=0.（3.2.16）3.2?
9510y（3.2.16）d（3.2.15）?
ey（3.2.15）dn?
0kf（x（k）+d（k）=f（x（k）+f（x（k）+tkd（k）Td（k）=f（x（k）+f（x（k）Td（k）+f（x（k）+tkd（k）f（x（k）Td（k）f（x（k）+f（x（k）Td（k）+kf（x（k）+tkd（k）f（x（k）kkd（k）kf（x（k）+f（x（k）Td（k）+L2kd（k）k2,tk（0,1）AO?
-k=f（x（k）Td（k）2Lkd（k）k2,kf（x（k）+kd（k）f（x（k）kf（x（k）Td（k）+L2kkd（k）k2=14L（f（x（k）Td（k）2kd（k）k2.（3.2.17）d（|kvf（x（k+1）f（x（k）=f（x（k）+kd（k）f（x（k）f（x（k）+kd（k）f（x（k）=14L（f（x（k）Td（k）2kd（k）k2=14Lkf（x（k）k2cos2k,=f（x（k）f（x（k+1）14Lkf（x（k）k2cos2k.dfke.（3.2
升级会员 