基于代理模型的优化方法介绍文档格式.doc

基于代理模型的优化方法介绍文档格式.doc

《基于代理模型的优化方法介绍文档格式.doc》由会员分享，可在线阅读，更多相关《基于代理模型的优化方法介绍文档格式.doc（10页珍藏版）》请在冰豆网上搜索。

三，建立代理模型的方法

3.1响应面模型法（ResponseSurfaceMethodology）

响应面分析法是利用合理的试验设计方法并通过实验得到一定数据，采用多元二次回归方程来拟合因素与响应值之间的函数关系，通过对回归方程的分析来寻求最优工艺参数，解决多变量问题的一种统计方法。

计算原理：

由于响应面法描述的是一组独立输入变量与系统输出响应之间某种近似关系，因此通常可用下式来描述输入变量和输出响应之间的关系。

式中，－响应实际值，是未知函数；

　　　－响应近似值，是一个已知的多项式；

　　　－近似值与实际值之间的随机误差，通常服从的标准正态分布。

在Isight近似模型方法中，可以是一阶、二阶、三阶和四阶多项式。

其中，第三阶和第四阶模型中没有混合项（交互项）。

构造响应面模型的最少样本点数依赖与模型阶数和输入变量的个数，如表10-2所示：

表10-2响应面模型表达式

阶次

初始化所需的最少样本点数

公式

1阶

M+1

2阶

（M+1）（M+2）/2

3阶

（M+1）（M+2）/2+M

4阶

（M+1）（M+2）/2+2M

项选择方法（Termselectionmethod）

多项式中项的构成决定了响应面模型的质量和精度。

Isight提供了四种项选择的方法，以残差平方和（RSS,ResidualSumofSquares）最小作为目标，进行项的最佳选择。

残差平方和公式表达如下：

式中，是响应实际值；

是响应近似值；

n是构造响应面模型的样本点数。

四种项选择的方法如表10-3所示：

表10-3项选择方法

方法名

计算量

质量

描述

顺序替换

SequentialReplacement

低

从常数项开始拟合，每次增加一个项使残差平方和（RSS,ResidualSumofSquares）最小；

每增加一个项后，检查是否可以去掉或替换已经存在的项，同时使RSS更小。

逐次替换

Stepwise（Efroymson）

高

一般

前向选择：

如果满足如下的统计显著性，则增加新项：

其中，是多项式项数，是样本点数，是增加项的F比率（F-ratiotoaddterm）每增加一项后，将满足如下统计显著性的项删除：

其中，是多项式项数，是样本点数，是删除项的F比率（F-ratiotodropterm）

每次替换两项

Two-at-a-timeReplacement

非常好

每增加一个项后，检查所有项中进行替换的可能性，找到能使RSS更小的最好的项组合，重复以上步骤直到达到最大的项数。

完全搜索

ExhaustiveSearch

非常高

最好

对所有可能项的组合进行考察，选择使拟合误差最小的项。

3.2反距离加权法

反距离加权法（也称为距离反比法）认为被估单元块的属性与其周围一定距离内已知点的属性有关，并且认为这种关系与已知点到被估单元块中心点的距离的n次幂成反比。

计算公式为：

式中:

Z0表示估计值；

Zi为第i（i=1，2，3·

·

n）个样本的属性值；

p为距离的幂，它显著影响内插的结果，它的选择标准是最小平均绝对误差；

Di为距离幂p越高，内插结果越平滑，常选用p=2

3.3克里金法

克里金法（Kriging）是依据协方差函数对随机过程/随机场进行空间建模和预测（插值）的回归算法[1] 

。

在特定的随机过程，例如固有平稳过程中，克里金法能够给出最优线性无偏估计（BestLinearUnbiasedPrediction,BLUP），因此在地统计学中也被称为空间最优无偏估计器（spatialBLUP）

普通Kriging

Kriging模型存在不同的变种，根据其采用的全局趋势函数不同，可分为：

简单Kriging，普通Kriging和泛Kriging。

普通Kriging公式如下：

式中是Z在未知点X0处的估计

泛克里金（UniversalKriging,UK）

在已知随机场是各项同性的固有平稳过程和漂移量（drift）的叠加时，可以使用泛克里金对随机场进行建模。

泛克里金假设漂移量是一系列已知解析函数的线性组合[1]：

式中是随机场的漂移，是满足各向同性假设的固有平稳随机场。

最常见的漂移是线性函数，对应具有线性趋势的随机场。

泛克里金的问题表述和克里金方差与普通克里金相同，其无偏估计条件有如下表述[1] 

：

当且时，泛克里金与普通克里金的无偏估计条件等价，因此普通克里金可以视为泛克里金的一个特例。

将上式作为拉格朗日乘子可得泛克里金的求解系统[1] 

将求解所的权重带入先前公式中可以得到泛克里金在的估计值。

在高斯随机场中，泛克里金和普通克里金以相同的方法估计置信区间。

3.4径向基神经网络法

神经网络是基于生物学的神经元网络的基本原理而建立的。

它是优许多神经元的简单处理单元组成的一类适应系统，而所有神经元通过前向或回馈的方式相互关联、相互作用。

神经网络的一个重要特点是学习能力，这种能力不仅表现在对精确样本的学习上，对那些可能不完全或是有噪音的新数据，神经元网络还可以起到校正的作用。

1943年，McCulloch和Pitts建立了第一个人工神经网络模型，后被扩展为“认知（Perception）”模型。

20世纪80年代，Hopfield将神经网络成功地应用在组合优化问题。

如今神经元网络已经被广泛的应用到函数逼近、模式识别、图像处理与计算机视觉、信号处理、时间序列、医药控制、专家系统、动力系统、军事系统、金融系统、人工智能以及优化等方面。

在诸多神经网络模型中，径向基神经网络（RadialBasisFunctionNeuralNetwork,RBFNN）在复杂函数逼近方面具有优良性质，只需较少的神经元就能很好的逼近效果。

径向基神经网络的优点包括：

1.很强的逼近复杂非线性函数的能力。

2002年RuichenJin和WeiChen等人的研究表明，在建立计算机仿真试验的近似模型时，径向基函数的整体性能优于Kriging方法和响应面法。

径向基神经网络通过所有样本点。

2.无须数学假设，具有黑箱特点。

3.学习速度快，具有极好的泛化能力。

4.较强的容错功能，即使样本中含有“噪声”输入，也不影响网络的整体性能。

当然，径向基神经网络也有不足之处，其缺点表现为构造模型所需的时间要比建立响应面的时间长得多。

计算原理

径向基神经网络的结构是三层前向网络，接收输入信号的单元层称为输入层，输出信号的单元层称为输出层，不直接与输入输出发生联系的单元层称为中间层或隐层（图）。

径向基神经网络以待测点与样本点之间的欧几里德范数（距离）为自变量，以径向函数为基函数，通过线性叠加构造径向基函数模型。

图3-1三层前向神经网络构成

假设输入层有N个单元，输入向量x由此进入网络；

隐层有p个单元，第p个单元的输入为，输出为；

输出层有1个单元，则输出可以公式3.1表达为：

（3.1）

其中，是基函数的中心，是权系数，是选定的非线性基函数，为阀值。

从输入层到隐含层的是一种固定不变的非线性变换，将输入矢量直接映射到一个新的空间。

当径向基函数的中心点确定以后，这种映射关系也就确定了。

隐层空间到输出层空间的映射是线性的，输出层在新的线性空间中实现线性加权组合，此处的权即为网络可调参数。

常用的非线性基函数为高斯基函数，公式表达为3.2：

（3.2）

其中，参数是第p个高斯基函数的“宽度”或“平坦度”，按照3.3公式确定：

（3.3）

越大，则以为中心的等高线越稀疏，越平坦，对其他的影响也就越大

3.5支持向量机法

支持向量机（SupportVectorMachine,SVM）是由Vapnik提出的一种基于小样本统计学习理论和结构风险最小化的建模方法，具有坚定的理论基础，较好的泛化能力及强大的非线性和高维处理能力。

假设我们有如下训练数据集T：

对于感知机来说，我们可以找到无数个超平面S（直线S），正确地对图中的数据集进行划分：

但是，在所有的划分超平面中，有一个平面是最好的，它可以尽最大可能地让所有的样本点都离得该划分平面最远，这就是SVM想要做的。

虽然，有无数个超平面可以对样本集进行划分，但是，不可否认，下面的这条直线应该是最优的。

3.6空间映射

空间映射（SpaceMapping）是微波工程领域公认的优化方法，它可以将粗模型的计算效率和细模型的精准度相结合。

粗模型通常是经验公式或者等效电路模型，计算效率非常高，但往往参数的变化范围有限，因而当超过有效范围时，就会导致模拟结果不准确；

而细模型可以通过电磁仿真软件提供，或者直接测量得到，因而精准度很高，但成本较高（比如CPU密集型模拟）。

而空间映射可以在粗模型与细模型之间建立一种数学映射关系，同时能将大量的CPU密集型计算反应到粗模型中，可以大大节省模拟时间，同时保持细模型的精准度。

通常，空间映射算法在对细模型进行少量评估之后就能得到很精准的结果。

现有的空间映射优化算法主要集中在几个方面：

输入空间映射、输出空间映射、隐性空间映射、神经空间映射和调谐空间映射等。

最初的空间映射优化算法采用多点映射，即首先得到粗模型的最优解，然后将最优解中的其中一个变量（假设最优解中有n个变量）分别上下扰动作为细模型的输入（保持其他参量不变），从而得到两组细模型的响应。

这样对每个最优解中的变量分别进行求解，再加上原来的最优解，共得到2n+1组数据，将这些数据均作为训练数据进行少次训练之后，一般都能得到较为精准的优化结果。

但这种方法在开始训练时需要对细模型进行2n+1次求解，这不论是通过电磁仿真还是实际测量获得都比较耗时，而且成本较高。

因而现在流行的空间映射算法将该过程进行了很大程度的简化，即只使用粗模型的一组最优解进行训练，大大节省了时间和成本，但得到的映射关系往往由于训练数据单一而不够准确