发现使用无导数的优化参数优化算法.docx
《发现使用无导数的优化参数优化算法.docx》由会员分享，可在线阅读，更多相关《发现使用无导数的优化参数优化算法.docx（46页珍藏版）》请在冰豆网上搜索。
发现使用无导数的优化参数优化算法
c2006SocietyforIndustrialandAppliedMathematicsP624
SIAMJ.OPTIM.
Vol.17,No.3,pp.642–664
CHARLESAUDET†ANDDOMINIQUEORBAN†
发现使用无导数的优化参数优化算法
摘要：
本文的目标是双重的。
我们制定了一个总体框架确定局部最优算法参数。
算法的参数都被视为为假定没有衍生品知识，或存在的问题的决策变量。
A衍生物的优化方法，旨在减少一定程度的微调算法的性能。
这项措施被视为一个黑盒子，并且可以由用户选择。
在文中给出的例子。
第二个目标是通过专业局部最优的无约束优化的信赖域参数识别来说明这个框架。
衍生自由选择的方法引导过程的网格自适应直接搜索模式搜索方法，泛化。
说明后者的灵活性，特别是使提供代理目标。
本地，就整体计算时间上的一组测试问题的最佳参数确定。
每个函数调用可能需要几个小时，可能并不总是返回一个可预见的结果。
量身定制的替代函数是用来引导搜索对本地的解决方案。
由此确定的参数不同于传统使用的值，并允许一个解决的一个问题，在合理的时间使用传统的价值观保持，否则无法解决。
关键词：
衍生物释放优化，黑箱优化，参数估计，代理功能，网格自适应直接搜寻，信赖域方法
AMSsubjectclassifications.90C56,90C90,90C31
DOI.10.1137/040620886
1.介绍：
大多数算法，它在优化或任何其他领域，或多或少的关键取决于许多参数。
某些参数可能真实的数字，如初始信赖域半径，或者一个标量，决定了精密的子问题需要解决.这些参数可能被要求保留两个，可能是无限的边界之间，或在一个更复杂的方式可能会受到限制。
他们也可能是离散的，如最大迭代次数或一个禁令搜索启发式在禁止的方向上的数量，甚至是绝对的，比如一个布尔值，表示是否准确或不精确Hessian的使用，或者使用预条件。
该算法的整体行为的影响由这些参数的值。
不幸的是，大部分的实际情况，尚不清楚用户应该如何进行确定好，让独个最优，这些参数的值。
我们制定了一个框架，这是一般工程，数值分析和优化，足以涵盖大多数数值算法的微调等参数。
该框架的设计依赖于对其性能的措施的观察，可以是来自于该算法在其参数的依赖性。
这些措施是相互联系和依赖问题，因为这个原因，我们希望
——————————————————————————————————
编辑12月15，2004;接受出版（修订）3月20日，
2006电子出版二零零六年九月十五日。
http:
//www.siam.org/journals/siopt/17-3/62088.html
在工业Math'matiquesG'nie，理工学院de'eeeMontr'al邮政信箱6079站GERAD系。
市中心，Montr'al，Qu'bec，，H3C3A7加拿大（Charles.Audet@gerad.eeeAChttp:
//www.gerad.ca/Charles.Audet;Dominique.Orbangerad.ca，呻/www.mgi.polymtl.ca/
Dominique.Orban）。
第一作者的工作是支持的NSERC补助239436-01AFOSR
F49620-01-1-0013，埃克森美孚（ExxonMobil）和R62291。
第二作者的工作支持
NSERC补助299010-04。
把他们当作黑盒在本文余下部分。
然而，我们将在一个特定的应用程序的上下文中给出例子。
一个优化的问题是,这样的措施制定的性能是最小化作为函数的参数。
我们使用的一类非光滑优化算法来解决这个问题提供一个可选的替代功能去引导搜索策略。
在某种意义上，一个代用函数是具有真实客观的简化功能的行为，但被认为是成本更低的评价，或更容易操作。
替代的功能范围从简化了的物理模型到近似的表面，如克里格模型。
请读者参考[6]代理人在优化环境中使用了的一个总体框架。
如何使用这个框架作为一个例证，我们的标准参数的研究，目前在无约束优化的信赖域算法，试图找出一些局部最优值。
质量的一组参数的测量是由整体的计算所需的时间由信赖域算法来解决测试问题的一个显着的数量规定的精度。
其他性能措施的可能性，包括函数调用的总体数量，失败的次数，总的迭代次数或规定的行为有一些的算法的协议。
在数值测试，测试问题源于CUTEr[19]收集。
我们制定一个优化问题，其中每个目标函数评估测试的问题需要解决的集合。
该目标函数是耗时的评估，是高度非线性的，并没有衍生物是可用的，或者甚至被证明存在。
此外，评估的目的，两次使用相同的参数略有不同的函数值，因为可能会导致计算时间是受当前机器的负载，并因网络活动。
我们选择了网格自适应直接搜索（MADS）[4]的衍生方法，下面我们解释原因。
在我们的情况下，替代的功能是通过采用相同的一组中容易出现的问题的信赖域算法。
信赖域参数MADS允许获得一个问题的解决方案，保持在合理的时间内没有得到解决，否则由信赖域方法。
类似的信任区域框架局部最优参数识别的相关工作[17]，其中参数空间离散，并进行了彻底的搜查。
然而，即使是适度数量的离散值，设计一种机制，能够比较这么多的变体的一种算法，将成为一个问题。
近年来，性能配置[13]已广泛应用于比较算法，但它仍不清楚如何使用它们来有效地比较超过五六个。
本文围绕这个问题，通过任务委托到另一个优化算法。
近年来，模式搜索方法已经证明执行体面的分子几何构型和构象的问题[1，28]。
文献[23]提供了一个检讨的直接搜索方法。
本文的结构如下。
在第2节中，我们描述了一个无衍生工具的框架，然后勾勒出一个MADS类算法的具体实施，突出主收敛结果。
我们还描述了该算法可以用在一个代理功能。
第3节描述了一个标准的信赖域算法，并讨论了四个算法参数进行微调。
在第4节中，我们提出了一种方法，专攻我们的框架，以确定使用MADS算法的局部最优的信赖域参数。
结果列于第5章节，我们给第7结束语。
查尔斯•AUDET和多米尼克（leonardORBAN）
2.1不可微分的问题的框架。
一般的优化问题可以表述为：
（2.1）
随着ψ:
Ω⊆R→R∪{+∞}，函数ψ和域Ω的性质和结构限制了可尝试来解决这个问题的不同的算法。
全局优化往往是唯一可能的当问题的结构是足够丰富可利用的，而当问题的规模是合理的，但在可接受的时间经常够不着。
在适当的平滑的假设，因此，我们往往满足于一级临界解决方案的内容。
例如，当ψ连续可微于Ω，适当的变型牛顿的方法，并结合全球化方案可产生了一个在合理的假设下的临界点。
当ψ是不可微的，不连续的或失败，以评估其自变量的p∈Ω，问题（2.1）的部分价值无法令人满意地通过这样的方法接近。
评价的客观的引诱运行的计算机代码时，这是通见的情况。
为了评估，代码可能这样，例如，需要解决耦合系统的微分方程，可能因为一些内部原因，无法返回一个有意义的值。
在这种情况下，函数值被简单地认为是无限的。
在旋翼叶片设计中的应用[5]中，目标函数无法返回一个值两次甚至三次。
随机性也可以存在于一个函数的评价，[29]，其中两个评价的ψ在同一点p返回到稍有不同的值。
在这种不太乐观的情况下，最好的最优条件，可以希望的是找到一个精确的点。
在2.3节中，我们揭示这个概念。
2.1概述模式搜索类型方法的代理。
在特殊情况下,Ω被定义为有限多个线性不等式,算法从广泛的一类广义模式搜索（gps）方法[3]是自然的候选者来执行最小化。
它们的优点是相对简单和容易实现。
算法的模式搜索类型试图借助障碍函数找到一个大于最小值的函数ψ超过Ω
（2.2）
我们会把ψ作为真理函数，或者，有时，简单的真理。
正如是频繁的非线性规划中的，一个二阶函数，扮演的是一个模型为ψ,可能被用来引导对前途的地区进行迭代。
上下文中的非线性不可微优化和模式搜索方法,模型通常被称为一个代理。
代理可能是一个近似的真相,或者它可能是一个简化的函数,其行为类似于真理。
一个重要特征是，它应该是比真相更廉价，在一定意义上，在时间或其他方面成本更低。
前面的句子是故意留下的模糊的，由于正式的收敛性分析是由σ独立于ψ的近似的质量。
然而，在实际应用中，适当的替代物可以提高收敛速度。
一个障碍代理σΩ被简单地定义为：
（2.2）
模式搜索类型的方法迭代每次迭代程序主要包括两个步骤，。
首先，一个全球性的变量的空间探索
寻找最优算法参数使用麦斯
希望能改进最可行的解决方案到目前为止，或现任PK∈Ω。
这种灵活的探索阶段，称为搜索步长，返回的一组候选人，但真理功能需要在所有这些无法评估。
要决定在而这些真相ψΩ将进行评估，它们之间是有序增加替代函数值。
排序后，组的候选人1={Q1，Q2。
。
。
QM}满足σΩ的为（q+1）≤σΩ（Q2）≤•••≤σΩ（QM）。
QJ∈L候选人将被认为是有前途的，如果σΩ（QJ）≤σΩ（PK）+V|σΩ（PK），其中v∈R+∪{+∞}是一个由用户提供的阈值。
这是从搜索列表中不被看好的候选人被淘汰。
真相函数会被评估当有前途的候选者L随着i增加价值,而且当ψΩ（qi）<ψΩ（pk）时这个过程会终止。
在这种情况下,一种改进的现任责任者会被发现而且我们设pk+1=qi.
在搜索改进迭代的识别失败，进行了关于PK的当地的探索。
这就是所谓的轮询步骤。
同样，代理功能是用来命令审判点。
收敛性分析只依赖于这一步，必须遵守更严格的规则。
特别是，它禁止的修改候选者。
关于GPS算法有不便的是，他们需要一些先前的关于Ω的结构的知识去决定一套合适的搜索方向。
这种知识的缺乏可能会阻碍了技术进步从而走向最小化[26]。
所以要为更常规的Ω做一些规定并绕过这种先验知识要求。
我们选择了GPS的扩展名为网格自适应直接搜索（MADS）[4]，这也是基于上述原则。
MADS允许有一个变量有更大的探索空间的，以确保有一个比全球定位系统更强的收敛结果。
事实上，GPS的投票限制在每次迭代方向到一个固定的有限集合，而那一组MADS调查方向在每次迭代中可能会有所不同，限制了这些的轮询方向上所有的迭代的集合在整个空间里是密集的。
2.2一个迭代的MADS算法。
我们现在提出的MADS较低级别的描述。
请读者参考文献[4]一个完整的算法描述，详细的收敛性分析和数值的比较与GPS。
这里介绍的版本是专门为我们的宗旨和一些算法的选择而制作的。
让S0⊂Ω表示一组由用户提供的有限的初步猜测，（4.4节中提出的策略，利用代理项确定S0）。
设置p0在s0是最佳的初始猜测。
一个MADS算法构建以这样一种方式：
需要依赖于当前网格搜索或轮询表决步骤产生一些审判点，，其中粗细度的筛目尺寸参数是由ΔK∈R+。
该网的正式定义在定义2.1。
定义2.1。
在k次迭代中，当前网格被定义为集合
Sk为点集，目标函数ψ被评为k次迭代的开始和Z表示的整数的集合。
迭代的目标是找到一个试验网点，比目前现任的价值ψΩ（PK）有较低的目标函数值。
这样的试验点被称为一个改进的网格点，迭代被称为一个成功的迭代。
有没有足够的降低的要求：
任何ψΩ改善导致一个成功的迭代。
如果没有改善的点被发现，所述迭代是不成功的。
轮询步骤在2个试验点的周围进行评价ψΩ。
在这些相邻的点被称为帧，并分别记为
其中DK={D1，D2…D？
}是在Z的基础。
为了确保衔接，为了确保收敛半径（最大{Δkd∞：
D，∈DK}）连续帧必须收敛到零比网格尺寸参数在slowerrate。
基础的建设Dk提出了[4]，确保
图1显示了一个例子，在R2中的两个连续帧。
上的图左边代表k次迭代。
网状的Mk表示的交点alllines。
假设厚线划定框架，即，在哪个地区所有四个调查点必须位于。
在这个例子中，通过以下方式获得随机生成的方向d1=（0，-2）的帧点Q1和Q3，Q2和Q4d2的=（2，1）是通过以下方式获得。
右图显示一个可能的框架，如果k次迭代是不成功的。
网丝更细比是在迭代k+1k次迭代，并有更多的可能性中选择一个帧。
更精确地说，和，就好像在（2.4）里面一样，现任框架的边界的距离减少了2倍；。
用于构造帧的方向指向R1和R3分别为d1=（-3，4），和R2和R4的方向为d2=（4，0）。
在发生k次迭代+1是成功的上面的网格轮询的点r3的，迭代k+2将启动新现任pk+2=r3用一个更大的筛孔尺寸参数Δk+2=4Δk+1=1/2。
当轮询的步骤失败，来产生一种改进的网格点，则该帧被称为最小的帧，帧中心的峰被说成是一个最小的帧中心。
k次迭代更新的网格大小参数，规则
寻优算法参数使用MADS
算法2.1。
[MADS算法]
步骤0[初始化]让S0给予，P0∈ARG分钟{ψ（P）：
P∈S0}，Δ0>0，且v∈R+∪{+∞}。
设置迭代计数器k=0，则转到步骤1。
第1步：
[搜索步]设L={Q1，Q2，。
。
。
，QM}⊂MK中是一个有限（可能为空）
设置网格点σΩ（QI）≤σΩ（QJ）≤σΩ（PK）+V|σΩ（PK）|1≤I让I0是最小的i∈{1，。
。
。
，M}，这样ψΩ（qi）<ψΩ（PK）。
如果没有这样的索引I0存在，则转到步骤2。
否则，申报K成功的，设置PK+1=QI0的，则转到步骤3。
步骤2[投票步骤]构建框架FK={Q1，Q2，。
。
。
（2.3）和订购点，Q2？
}这样σΩ（QI）≤σΩ（QJ）当1≤I让I0是最小的i∈使得
如果没有这样的索引I0存在，宣布K表不成功，请转到步骤3。
否则，申报K成功的，设置PK+1=QI0的，则转到步骤3。
第3步：
[参数更新]，如果k次迭代被宣告失败，那么PK是一个最小的帧中心和PK+1被设置为PK。
否则，是一种改进的网格点。
时间ΔK1根据式（2.5）。
增加K←K+1，回到步骤1。
算法2.1中概述的先前描述。
给定的函数ψ和σ，不完全算法2.1中定义的步骤仅是初始估计值S0和的搜索strategy.Particular选择一个应用程序的框架中的一组选择的第4.4节中讨论。
2.3·MADS收敛性。
我们把自己限制的情况下，
其中Ω是凸和全维，即非空的内部。
这包括其中Ω是指由（可能是严格的）线性不等式的情况下。
这似乎是合理的假设，在实践中，大多数算法依赖于参数满足这个假设。
此外，的MADS收敛分析大大simplifies.This部分提出了专门的结果。
这些结果证明是特殊情况下的样张[4]。
让CL（A）表示关闭设置A.根据我们的条件，切锥TΩ（P）表示在某些p∈CL（Ω），Ω，成为封闭集合{μ（V-P）：
μ∈R+，V∈Ω}。
在p∈CL（Ω）Ω正常锥切锥NΩ（P）=TΩ（P）◦={W∈R是极？
|WTV≤0∀V∈TΩ（P）}。
如果梯度∇ψ（P）在p∈CL（Ω）存在，我们说，p是一阶的关键（2.1）-∇ψ（P）∈NΩ（P）。
对于非凸域，一般定义相切非光滑分析[4]。
分析依赖于假设2.1。
假设2.1。
至少有一个初始猜测P0∈S0⊆Ω有限ψ（P0）值和所有算法所产生的迭代{PK}2.1在一个紧凑的集。
2.1算法的机制确保以下属性。
引理2.2。
网目尺寸参数的顺序满足LIMinfk→∞δK=0。
此外，由于δK只收缩在最小帧，有无限多的最小帧中心。
定义2.3规定的迭代和限制方向的重要子序列。
定义2.3。
MADS遍历最小帧中心组成一个子序列{PK}∈K指数K表的某个子集，被说成是精炼子序列。
查尔斯·AUDET和多米尼克（leonardORBAN）
如果{ΔK}∈K收敛到零。
任何聚点{PK}∈K将被称为精确点。
让{pk}k∈K是一个收敛的的精确的子序列，与精确点p，并令v是任何集合中的点{DK：
PK+δKDK∈Ω，K∈K}⊂R。
则v是对p精确的方向
随着一个精确的序列，因此，我们总是有ψ（PK+1）≤ψ（PK）。
需要注意的是，假设2.1下，总是存在至少有一个收敛精确子序列，一个精确点和一组正向范围的精确方向。
Clarke广义方向导数[7，22]ψ在p的方向V≠0定义为
下面的结果呈现在精确点的最优性条件满意的层次结构。
最弱的结论是定义2.3的直接后果。
接下来的结论导致ψ的假设越来越得到证实
.定理2.4。
设P∈CL（Ω）是精确序列{PK}∈K的一个精确点，并假设p的精确方向在TΩ（pˆ）是稠密的。
•P是限制最小帧中心变得无限精细的帧，
•如果ψ是下半P），然后ψ（P）≤LIMK∈Kψ（PK），
•如果ψ是李氏接近p，然后ψ（P，V）≥0，每TΩ的v∈（P），
•如果ψ是李氏附近：
P∈INT（Ω），0∈∂ψ（P）≡{∈R：
ψ◦（X，V）≥VTS，∀V∈R}，
•如果ψ是严格的微完全可微[24]在p∈Ω，那么p是一阶的关键（2.1）和（2.1）的KKT点。
需要注意的是，上述收敛结果仅仅依靠轮询步骤，和独立的代理功能和搜索步骤。
此外，即使算法2.1是利用ψΩ代替ψ，收敛结果与ψ的局部平滑度有关而不是不连续的边界Ω。
MADS在实际的应用中确保满足定理2.4的密度假设[4].
3.信赖域方法。
在本节中,我们简要介绍了全局收敛性框架,无约束编程。
此框架取决于一些参数的影响的主要收敛结果的影响。
要成功应对光滑的非线性非凸规划问题，从远端开始猜测，迭代必须经常被嵌入到一个全球化的计划，其中最受欢迎的是linesearch,信赖域[10],以及最近的过滤器[14,20]。
前两个可能是最有名的，他们的哲学可以被看作是双重。
linesearch策略计算步长，沿预定方向,而一个信赖域策略考虑所有可接受的方向但是限制了最大的步长。
3.1一个基本的信赖域算法。
信赖域方法似乎可以追溯到1944年的一篇论文，他们被用来解决非线性最小二乘问题[25]。
在更新规则于1966年被引入[15]规模的地区,一个特定的算法全局收敛性的证明在1970年[30]。
信赖域方法形成了现在最流行的全球化计划，并经常称赞他们的稳健性和灵活性。
他们是用在优化,从正则化问题到非求导和内部点方法。
如需引用，历史笔记，和深入的理论发展在整个优化频谱的读者参考[10]。
为了简单起见，假设我们希望解决无约束的规划问题
P649
其中f：
RN→R是两次连续可微函数，这可能是高度非线性和/或成本高昂的评估。
有关问题（3.1）很好地确定，我们将假定f是下界，在迭代k，f不是直接操纵，而是由一个合适的更容易和更便宜去评估的局部模型MK去取代f。
A区BK⊂RN，称为信赖域,定义在xk代表程度可被认为合理的模型f。
信任区域被定义为球。
其中ΔK>0是当前信任区域半径和•代表Rn上任何规范。
为了简化论述，我们选择了欧几里德范数，但其他的选择，是可以接受的[10]。
型号MK约BK内最小化。
如果减少，从而达到足够的，和如果f和MK之间的协议是令人满意的，被接受的，半径ΔK可能增加。
否则，该步骤被拒绝，并且减小的半径。
最后一个选项表明MK可能信任太大已在XK的附近。
确保全局收敛性信赖域计划由MK上的轻度的假设和减少，应在每次迭代中实现。
在实践中，最流行的模型之一是二次模型
在模型中有足够的减少试验点XK+S，如果mk减少的至少是在CauchypointxC得到的一部分—mk的减少的量沿着最快下降方向d=−∇mk（xk），在Bk—i.e内。
其中0<θ<1是独立于k。
问题（3.1）典型的信赖区域框架可以用算法3.1表述。
更新规则（3.4）在第3步算法3.1是不是唯一一个在实践中使用，但最有可能是最常见的一种。
其他规则ρk=ρ涉及多项式插补步SK（SK）的函数[12]，而另一些设计更复杂的功能，以获取新的半径[21，38]。
如何解决3.1算法的第1步的子问题，同时确保（3.3）已经出了本文的范围。
在我们的实现中所采用的方法，确保我们将简单地认为在第4节。
3.2。
收敛性的基本算法。
我们回忆起在这一节中重要的全局收敛特性的算法3.1没有证据。
这个证明可能发现在[10]。
P650
查尔斯·AUDET和多米尼克（leonardORBAN）
步骤2的算法3.1通常被称为计算达到减少预测。
实现还原是实际的削减目标外,
由aredk=f（xk）−f（xk+sk）。
预测是减少减少建议通过该模型,predk=可（xk）−可（xk+sk）一个步骤是因此接受每当skaredk≥η1predk,迭代中我们称之为成功。
需求函数f和每个模型可都聚集在假设3.1。
假设3.1。
下面的函数f为界,其海赛矩阵仍然有界在一组包含所有迭代xk。
第一阶段的算法的全局收敛性分析3.1通常是由定理3.1总结。
定理3.1。
假设,假设3.1是满意的。
然后
定理3.1是第一个证明在[30]在一个框架,η1=0,即。
所有试用点接受就产生下降目标。
这结果证明,如果{xk}有极限点,至少其中之一是至关重要的。
事实上,这是很好的一个收敛的结果我们可以得到当η1=0[39]。
算法3.1更要求在审判点充分还原必须达到。
这阐明了价值的重要性η1框架中,作为接下来的结果显示,一个更强大的结论认为在这种情况下。
定理3.2。
假设假设3.1是满意的,η1>0。
然后
P651
换句话说,定理3.2显示所有极限点是一阶的关键（3.1）。
定理3.1的区别和定理3.2进一步加强了谨慎的例子[39],研究表明,算法可以很η1=0好生产限制点并不是关键。
参数的重要性η1和η2,但也α1和α2算法3.1可能感兴趣的我们在本文的其余部分。
特别是,我们必来回到问题的减少与足够的还原。
4。
方法论。
客观的纸是解决一个长期存在的问题识别四个最优参数中发现信赖域更（3.4）,即η1,η2,α1,α2。
在本节中,我们提出一个通用的方法解决这一问题。
4.1。
一个黑箱方法,参数估计。
假设算法一个依赖于一组连续参数p限制躺在⊂ΩR,那里通常是小的。
让阿宝={Pi|我∈O}是一组没有≥1问题实例认为是代表一类问题的算法设计,或者是特别感兴趣的上下文的算法a定义函数ψ:
Ω→R,所以任何p∈Ω,ψ（p）是一些措施的性能算法的一个解决一系列的问题,例如∈阿宝和π,越小的ψ值（p）,更好的算法具有良好的性能,在一个上下文相关的感觉。
在一个优化上下文,一个函数ψ的例子包括总CPU时间需要解决完整的测试集,失败的问题的数量解决或累积的迭代次数或功能评估。
在其他上下文,可以使用任何适当的措施
上面的描述有资格作为一个黑箱优化问题的意义一个计算机程序必须在一般是跑步为评估ψ（·）在给定参数值p∈Ω。
对于所有允许的参数值p,我们寻求最小化一个全球测量性能算法a。
换句话说,我们希望解决问题（2.1）。
问题（2.1）通常是一个小维非线性不可微优化问题与昂贵的黑盒功能评价。
作为一个额外的困难,评估目标函数（2.1）两次在同一值p可能产生两种sligthly不同的结果。
1因此,很自地用麦斯算法接近它。
在目前的环境下,有一个自然的方式来定义一个更便宜的代理函数,将有一个整体的行为类似于ψ。
让PS={Pj∈|j年代}是一组nS≥1简单问题和任何p∈Ω,定义σ（p）是相同的量（如ψ）的性能的算法在解决一个问题的设置PS。
一个近似的质量的行为由代理函数ψσ取决n和功能的问题,更多的问题PS,更好的近似,但评估的成本将会增加,代孕有因此在平衡质量和成本的代理功能。
它因此意义包括在PS问题更少的成本来解决和有可能,但不一定,我们可以选择年代⊆O。
另一个有趣的可能性为代孕将是解决问题的PS宽松精度。
注意,这个框架是
升级会员 