最优化方法的Matlab实现公式完整版.docx

最优化方法的Matlab实现公式完整版.docx

《最优化方法的Matlab实现公式完整版.docx》由会员分享，可在线阅读，更多相关《最优化方法的Matlab实现公式完整版.docx（78页珍藏版）》请在冰豆网上搜索。

最优化方法的最优化方法的Matlab实现公式完整版实现公式完整版第九章最优化方法的Matlab实现在生活和工作中，人们对于同一个问题往往会提出多个解决方案，并通过各方面的论证从中提取最佳方案。

最优化方法就是专门研究如何从多个方案中科学合理地提取出最佳方案的科学。

由于优化问题无所不在，目前最优化方法的应用和研究已经深入到了生产和科研的各个领域，如土木工程、机械工程、化学工程、运输调度、生产控制、经济规划、经济管理等，并取得了显著的经济效益和社会效益。

用最优化方法解决最优化问题的技术称为最优化技术，它包含两个方面的内容：

1）建立数学模型即用数学语言来描述最优化问题。

模型中的数学关系式反映了最优化问题所要达到的目标和各种约束条件。

2）数学求解数学模型建好以后，选择合理的最优化方法进行求解。

最优化方法的发展很快，现在已经包含有多个分支，如线性规划、整数规划、非线性规划、动态规划、多目标规划等。

9.1概述利用Matlab的优化工具箱，可以求解线性规划、非线性规划和多目标规划问题。

具体而言，包括线性、非线性最小化，最大最小化，二次规划，半无限问题，线性、非线性方程（组）的求解，线性、非线性的最小二乘问题。

另外，该工具箱还提供了线性、非线性最小化，方程求解，曲线拟合，二次规划等问题中大型课题的求解方法，为优化方法在工程中的实际应用提供了更方便快捷的途径。

9.1.1优化工具箱中的函数优化工具箱中的函数包括下面几类：

1最小化函数表9-1最小化函数表函数描述fgoalattain多目标达到问题fminbnd有边界的标量非线性最小化fmincon有约束的非线性最小化fminimax最大最小化fminsearch,fminunc无约束非线性最小化fseminf半无限问题linprog线性课题quadprog二次课题2方程求解函数表9-2方程求解函数表函数描述线性方程求解fsolve非线性方程求解fzero标量非线性方程求解3最小二乘（曲线拟合）函数表9-3最小二乘函数表函数描述线性最小二乘lsqlin有约束线性最小二乘lsqcurvefit非线性曲线拟合lsqnonlin非线性最小二乘lsqnonneg非负线性最小二乘4实用函数表9-4实用函数表函数描述optimset设置参数optimget5大型方法的演示函数表9-5大型方法的演示函数表函数描述circustent马戏团帐篷问题二次课题molecule用无约束非线性最小化进行分子组成求解optdeblur用有边界线性最小二乘法进行图形处理6中型方法的演示函数表9-6中型方法的演示函数表函数描述bandemo香蕉函数的最小化dfildemo过滤器设计的有限精度goaldemo目标达到举例optdemo演示过程菜单tutdemo教程演示9.1.3参数设置利用optimset函数，可以创建和编辑参数结构；利用optimget函数，可以获得options优化参数。

optimget函数功能：

获得options优化参数。

语法：

val=optimget（options,param）val=optimget（options,param,default）描述：

val=optimget（options,param）返回优化参数options中指定的参数的值。

只需要用参数开头的字母来定义参数就行了。

val=optimget（options,param,default）若options结构参数中没有定义指定参数，则返回缺省值。

注意，这种形式的函数主要用于其它优化函数。

举例：

1下面的命令行将显示优化参数options返回到my_options结构中：

val=optimget（my_options,Display）2下面的命令行返回显示优化参数options到my_options结构中（就象前面的例子一样），但如果显示参数没有定义，则返回值final:

optnew=optimget（my_options,Display,final）;参见：

optimsetoptimset函数功能：

创建或编辑优化选项参数结构。

语法：

options=optimset（param1,value1,param2,value2,.）optimsetoptions=optimsetoptions=optimset（optimfun）options=optimset（oldopts,param1,value1,.）options=optimset（oldopts,newopts）描述：

options=optimset（param1,value1,param2,value2,.）创建一个称为options的优化选项参数，其中指定的参数具有指定值。

所有未指定的参数都设置为空矩阵（将参数设置为表示当options传递给优化函数时给参数赋缺省值）。

赋值时只要输入参数前面的字母就行了。

optimset函数没有输入输出变量时，将显示一张完整的带有有效值的参数列表。

options=optimset（withnoinputarguments）创建一个选项结构options，其中所有的元素被设置为。

options=optimset（optimfun）创建一个含有所有参数名和与优化函数optimfun相关的缺省值的选项结构options。

options=optimset（oldopts,param1,value1,.）创建一个oldopts的拷贝，用指定的数值修改参数。

options=optimset（oldopts,newopts）将已经存在的选项结构oldopts与新的选项结构newopts进行合并。

newopts参数中的所有元素将覆盖oldopts参数中的所有对应元素。

举例：

1下面的语句创建一个称为options的优化选项结构，其中显示参数设为iter，TolFun参数设置为1e-8:

options=optimset（Display,iter,TolFun,1e-8）2下面的语句创建一个称为options的优化结构的拷贝，改变TolX参数的值，将新值保存到optnew参数中:

optnew=optimset（options,TolX,1e-4）;3下面的语句返回options优化结构，其中包含所有的参数名和与fminbnd函数相关的缺省值：

options=optimset（fminbnd）4若只希望看到fminbnd函数的缺省值，只需要简单地键入下面的语句就行了：

optimsetfminbnd或者输入下面的命令，其效果与上面的相同：

optimset（fminbnd）参见：

optimget9.1.4模型输入时需要注意的问题使用优化工具箱时，由于优化函数要求目标函数和约束条件满足一定的格式，所以需要用户在进行模型输入时注意以下几个问题：

1.目标函数最小化优化函数fminbnd、fminsearch、fminunc、fmincon、fgoalattain、fminmax和lsqnonlin都要求目标函数最小化，如果优化问题要求目标函数最大化，可以通过使该目标函数的负值最小化即-f（x）最小化来实现。

近似地，对于quadprog函数提供-H和-f，对于linprog函数提供-f。

2.约束非正优化工具箱要求非线性不等式约束的形式为Ci（x）0，通过对不等式取负可以达到使大于零的约束形式变为小于零的不等式约束形式的目的，如Ci（x）0形式的约束等价于-Ci（x）0；Ci（x）b形式的约束等价于-Ci（x）+b0。

3.避免使用全局变量9.1.5（函数句柄）函数MATLAB6.0中可以用函数进行函数调用。

函数返回指定MATLAB函数的句柄，其调用格式为：

handle=function利用函数进行函数调用有下面几点好处：

用句柄将一个函数传递给另一个函数；减少定义函数的文件个数；改进重复操作；保证函数计算的可靠性。

下面的例子为humps函数创建一个函数句柄，并将它指定为fhandle变量。

fhandle=humps;同样传递句柄给另一个函数，也将传递所有变量。

本例将刚刚创建的函数句柄传递给fminbnd函数，然后在区间0.3,1上进行最小化。

x=fminbnd（humps,0.3,1）x=0.63709.2最小化问题9.2.1单变量最小化9.2.1.1基本数学原理本节讨论只有一个变量时的最小化问题，即一维搜索问题。

该问题在某些情况下可以直接用于求解实际问题，但大多数情况下它是作为多变量最优化方法的基础在应用，因为进行多变量最优化要用到一维搜索法。

该问题的数学模型为：

其中，x,x1,和x2为标量，f（x）为函数，返回标量。

该问题的搜索过程可用下式表达：

其中xk为本次迭代的值，d为搜索方向，为搜索方向上的步长参数。

所以一维搜索就是要利用本次迭代的信息来构造下次迭代的条件。

求解单变量最优化问题的方法有很多种，根据目标函数是否需要求导，可以分为两类，即直接法和间接法。

直接法不需要对目标函数进行求导，而间接法则需要用到目标函数的导数。

1直接法常用的一维直接法主要有消去法和近似法两种。

（1）消去法该法利用单峰函数具有的消去性质进行反复迭代，逐渐消去不包含极小点的区间，缩小搜索区间，直到搜索区间缩小到给定的允许精度为止。

一种典型的消去法为黄金分割法（GoldenSectionSearch）。

黄金分割法的基本思想是在单峰区间内适当插入两点，将区间分为三段，然后通过比较这两点函数值的大小来确定是删去最左段还是最右段，或同时删去左右两段保留中间段。

重复该过程使区间无限缩小。

插入点的位置放在区间的黄金分割点及其对称点上，所以该法称为黄金分割法。

该法的优点是算法简单，效率较高，稳定性好。

（2）多项式近似法该法用于目标函数比较复杂的情况。

此时寻找一个与它近似的函数代替目标函数，并用近似函数的极小点作为原函数极小点的近似。

常用的近似函数为二次和三次多项式。

二次内插涉及到形如下式的二次函数数据拟合问题：

其中步长极值为：

然后只要利用三个梯度或函数方程组就可以确定系数a和b，从而可以确定*。

得到该值以后，进行搜索区间的收缩。

在缩短的新区间中，重新安排三点求出下一次的近似极小点*，如此迭代下去，直到满足终止准则为止。

其迭代公式为：

其中二次插值法的计算速度比黄金分割法的快，但是对于一些强烈扭曲或可能多峰的函数，该法的收敛速度会变得很慢，甚至失败。

2间接法间接法需要计算目标函数的导数，优点是计算速度很快。

常见的间接法包括牛顿切线法、对分法、割线法和三次插值多项式近似法等。

优化工具箱中用得较多的是三次插值法。

三次插值的基本思想与二次插值的一致，它是用四个已知点构造一个三次多项式P3（x），用它逼近函数f（x），以P3（x）的极小点作为f（x）的近似极小点。

一般讲，三次插值法比二次插值法的收敛速度要快些，但每次迭代需要计算两个导数值。

三次插值法的迭代公式为其中如果函数的导数容易求得，一般来说首先考虑使用三次插值法，因为它具有较高的效率。

对于只需要计算函数值的方法中，二次插值法是一个很好的方法，它的收敛速度较快，尤其在极小点所在区间较小时尤其如此。

黄金分割法则是一种十分稳定的方法，并且计算简单。

由于以上原因，Matlab优化工具箱中使用得较多的方法是二次插值法、三次插值法、二次、三次混合插值法和黄金分割法。

9.2.1.2相关函数介绍fminbnd功能：

找到固定区间内单变量函数的最小值。

语法：

x=fminbnd（fun,x1,x2）x=fminbnd（fun,x1,x2,options）x=fminbnd（fun,x1,x2,options,P1,P2,.）x,fval=fminbnd（.）x,fval,exitflag=fminbnd（.）x,fval,exitflag,output=fminbnd（.）描述：

fminbnd求取固定区间内单变量函数的最小值。

x=fminbnd（fun,x1,x2）返回区间x1，x2上fun参数描述的标量函数的最小值x。

x=fminbnd（fun,x1,x2,options）用options参数指定的优化参数进行最小化。

x=fminbnd（fun,x1,x2,options,P1,P2,.）提供另外的参数P1,P2等,传输给目标函数fun。

如果没有设置options选项，则令options=。

x,fval=fminbnd（.）返回解x处目标函数的值。

x,fval,exitflag=fminbnd（.）返回exitflag值描述fminbnd函数的退出条件。

x,fval,exitflag,output=fminbnd（.）返回包含优化信息的结构输出。

变量：

函数的输入变量在表9-7中进行描述，输出变量在表9-8中描述。

与fminbnd函数相关的细节内容包含在fun,options,exitflag和output等参数中，如表9-10所示。

表9-10参数描述表参数描述fun需要最小化的目标函数。

fun函数需要输入标量参数x，返回x处的目标函数标量值f。

可以将fun函数指定为命令行，如x=fminbnd（inline（sin（x*x）,x0）同样，fun参数可以是一个包含函数名的字符串。

对应的函数可以是M文件、内部函数或MEX文件。

若fun=myfun，则M文件函数myfun.m必须右下面的形式。

functionf=myfun（x）f=.%计算x处的函数值。

options优化参数选项。

你可以用optimset函数设置或改变这些参数的值。

options参数有以下几个选项：

Display显示的水平。

选择off，不显示输出；选择iter，显示每一步迭代过程的输出；选择final，显示最终结果。

MaxFunEvals函数评价的最大允许次数。

MaxIter最大允许迭代次数。

TolXx处的终止容限。

exitflag描述退出条件:

0表示目标函数收敛于解x处。

0表示已经达到函数评价或迭代的最大次数。

0表示目标函数不收敛。

output该参数包含下列优化信息：

output.iterations迭代次数。

output.algorithm所采用的算法。

output.funcCount函数评价次数。

算法：

fminbnd是一个M文件。

其算法基于黄金分割法和二次插值法。

文献1中给出了实现同样算法的Fortran程序。

局限性：

1目标函数必须是连续的。

2fminbnd函数可能只给出局部最优解。

3当问题的解位于区间边界上时，fminbnd函数的收敛速度常常很慢。

此时，fmincon函数的计算速度更快，计算精度更高。

4fminbnd函数只用于实数变量。

参见：

fminsearch,fmincon,fminunc,optimset,inline文献：

1Forsythe,G.E.,M.A.Malcolm,andC.B.Moler,ComputerMethodsforMathematicalComputations,PrenticeHall,1976.9.2.1.3应用实例例一在区间（0，2）上求函数sin（x）的最小值：

x=fminbnd（sin,0,2*pi）x=4.7124所以区间（0，2）上函数sin（x）的最小值点位于x=4.7124处。

最小值处的函数值为：

y=sin（x）y=-1.0000磁盘中该问题的M文件名为opt21_1.m。

例三对边长为3m的正方形铁板，在四个角处剪去相等的正方形以制成方形无盖水槽，问如何剪法使水槽的容积最大？

假设剪去的正方形的边长为x，则水槽的容积为现在要求在区间（0，1.5）上确定一个x，使最大化。

因为优化工具箱中要求目标函数最小化，所以需要对目标函数进行转换，即要求最小化。

首先编写M文件opt21_3o.m:

functionf=myfun（x）f=-（3-2*x）.2*x;然后调用fminbnd函数（磁盘中M文件名为opt21_3.m）：

x=fminbnd（opt21_3o,0,1.5）得到问题的解：

x=0.5000即剪掉的正方形的边长为0.5m时水槽的容积最大。

水槽的最大容积计算：

y=optim2（x）y=-2.0000所以水槽的最大容积为2.0000m3。

9.2.2线性规划9.2.2.1基本数学原理线性规划是处理线性目标函数和线性约束的一种较为成熟的方法，目前已经广泛应用于军事、经济、工业、农业、教育、商业和社会科学等许多方面。

线性规划问题的标准形式是：

或写成矩阵形式为：

其中，0为n维列向量。

线性规划的标准形式要求目标函数最小化，约束条件取等式，变量非负。

不符合这几个条件的线性模型要首先转化成标准形。

线性规划的求解方法主要是单纯形法（SimpleMethod），该法由Dantzig于1947年提出，以后经过多次改进。

单纯形法是一种迭代算法，它从所有基本可行解的一个较小部分中通过迭代过程选出最优解。

其迭代过程的一般描述为：

1将线性规划化为典范形式，从而可以得到一个初始基本可行解x（0）（初始顶点），将它作为迭代过程的出发点，其目标值为z（x（0）。

2寻找一个基本可行解x

（1），使z（x

（1）z（x（0）。

方法是通过消去法将产生x（0）的典范形式化为产生x

（1）的典范形式。

3继续寻找较好的基本可行解x

（2），x（3），使目标函数值不断改进，即z（x

（1）z（x

（2）z（x（3）。

当某个基本可行解再也不能被其它基本可行解改进时，它就是所求的最优解。

Matlab优化工具箱中采用的是投影法，它是单纯形法的一种变种。

9.2.2.2相关函数介绍linprog函数功能：

求解线性规划问题。

数学模型：

其中f,x,b,beq,lb和ub为向量，A和Aeq为矩阵。

语法：

x=linprog（f,A,b,Aeq,beq）x=linprog（f,A,b,Aeq,beq,lb,ub）x=linprog（f,A,b,Aeq,beq,lb,ub,x0）x=linprog（f,A,b,Aeq,beq,lb,ub,x0,options）x,fval=linprog（.）x,fval,exitflag=linprog（.）x,fval,exitflag,output=linprog（.）x,fval,exitflag,output,lambda=linprog（.）描述：

x=linprog（f,A,b）求解问题minf*x，约束条件为A*x1%调用fun函数并要求有两个输出变量。

g=.%计算x处的梯度值。

end若Hessian矩阵也可以求得，并且options.Hessian设为on,即,options=optimset（Hessian,on）则fun函数必须返回解x处的Hessian对称矩阵H到第三个输出变量中去。

注意，当被调用的fun函数只需要一个或两个输出变量时（如算法只需要目标函数的值f和梯度值g而不需要Hessian矩阵H时），可以通过核对nargout的值来避免计算Hessian矩阵functionf,g,H=myfun（x）f=.%计算x处得函数值。

ifnargout1%调用fun函数并要求有两个输出变量。

g=.%计算x处的梯度值。

ifnargout2H=.%计算x处的Hessian矩阵。

endoptions优化参数选项。

可以通过optimset函数设置或改变这些参数。

其中有的参数适用于所有的优化算法，有的则只适用于大型优化问题，另外一些则只适用于中型问题。

首先描述适用于大型问题的选项。

这仅仅是一个参考，因为使用大型问题算法有一些条件。

对于fminunc函数来说，必须提供梯度信息。

LargeScale当设为on时使用大型算法，若设为off则使用中型问题的算法。

适用于大型和中型算法的参数：

Diagnostics打印最小化函数的诊断信息。

Display显示水平。

选择off，不显示输出；选择iter，显示每一步迭代过程的输出；选择final，显示最终结果。

打印最小化函数的诊断信息。

GradObj用户定义的目标函数的梯度。

对于大型问题此参数是必选的，对于中型问题则是可选项。

MaxFunEvals函数评价的最大次数。

MaxIter最大允许迭代次数。

TolFun函数值的终止容限。

TolXx处的终止容限。

只用于大型算法的参数：

Hessian用户定义的目标函数的Hessian矩阵。

HessPattern用于有限差分的Hessian矩阵的稀疏形式。

若不方便求fun函数的稀疏Hessian矩阵H，可以通过用梯度的有限差分获得的H的稀疏结构（如非零值的位置等）来得到近似的Hessian矩阵H。

若连矩阵的稀疏结构都不知道，则可以将HessPattern设为密集矩阵，在每一次迭代过程中，都将进行密集矩阵的有限差分近似（这是缺省设置）。

这将非常麻烦，所以花一些力气得到Hessian矩阵的稀疏结构还是值得的。

MaxPCGIterPCG迭代的最大次数。

PrecondBandWidthPCG前处理的上带宽，缺省时为零。

对于有些问题，增加带宽可以减少迭代次数。

TolPCGPCG迭代的终止容限。

TypicalX典型x值。

只用于中型算法的参数：

DerivativeCheck对用户提供的导数和有限差分求出的导数进行对比。

DiffMaxChange变量有限差分梯度的最大变化。

DiffMinChange-变量有限差分梯度的最小变化。

LineSearchType一维搜索算法的选择。

exitflag描述退出条件:

0表示目标函数收敛于解x处。

0表示已经达到函数评价或迭代的最大次数。

0表示目标函数不收敛。

output该参数包含下列优化信息：

output.iterations迭代次数。

output.algorithm所采用的算法。

output.funcCount函数评价次数。

output.cgiterationsPCG迭代次数（只适用于大型规划问题）。

output.stepsize最终步长的大小（只用于中型问题）。

output.firstorderopt一阶优化的度量：

解x处梯度的范数。

注意：

1对于求解平方和的问题，fminunc函数不是最好的选择，用lsqnonlin函数效果更佳。

2使用大型方法时，必须通过将options.GradObj设置为on来提供梯度信息，否则将给出警告信息。

算法：

大型优化算法若用户在fun函数中提供梯度信息，则缺省时函数将选择大型优化算法，该算法是基于内部映射牛顿法的子空间置信域法，理论描述可参见文献8,9。

计算中的每一次迭代涉及到用PCG法求解大型线性系统得到的近似解。

中型优化算法此时fminunc函数的参数options.LargeScale设置为off。

该算法采用的是基于二次和三次混合插值一维搜索法的BFGS拟牛顿法。

该法通过BFGS公式来更新Hessian矩阵。

通过将HessUpdate参数设置为dfp，可以用DFP公式来求得Hessian矩阵逆的近似。

通过将HessUpdate参数设置为steepdesc，可以用最速下降法来更新Hessian矩阵。

但一般不建议使用最速下降法。

缺省时的一维搜索算法，当options.LineSearchType设置为quadcubic时,将采用二次和三次混合插值法。

将options.LineSearchT