最优控制理论的发展与展望.docx

1、最优控制理论的发展与展望最优控制理论的发展与展望1最优控制理论是 20 世纪 60 年代迅速发展起来的现代控制理论中的主要内容之一 ,它研究和解决的是如何从一切可能的方案中寻找一个最优的方案。1948 年维纳等人发表论文 ,提出信息、反馈和控制等概念 ,为最优控制理论的诞生和发展奠定了基础。我国著名学者钱学森在 1954 年编著的工程控制论直接促进了最优控制理论的发展。美国著名学者贝尔曼的“动态规划”和原苏联著名学者庞特里亚金的“最大值原理”是在最优控制理论的形成和发展过程中 ,最具开创性的研究成果 ,并开辟了求解最优控制问题的新途径。此外 ,库恩和图克共同推导的关于“不等式约束条件下的非线性

2、最优必要条件(库恩 图克定理) ”及卡尔曼的关于“随机控制系统最优滤波器”等是构成最优控制理论及现代最优化技术理论基础的代表作。11鲁棒控制是针对不确定性系统的控制系统的设计方法 ,其理论主要研究的问题是不确定性系统的描述方法、鲁棒控制系统的分析和设计方法以及鲁棒控制理论的应用领域。鲁棒控制理论发展的最突出的标志之一是 H控制。H控制从本质上可以说是频域内的最优控制理论。鲁棒控制与最优控制结合解决许多如线性二次型控制、电机调速、跟踪控制、采样控制、离散系统的镇定、扰动抑制等实际问题。2近年来，最优控制理论1,2的研究，无论在深度和广度上，都有了很大的发展，已成为系统与控制领域最热门的研究课题之

3、一，取得了许多研究成果。 同时，也在与其他控制理论相互渗透，出现了许多新的最优控制方式，形成了更为实用的学科分支。 例如鲁棒最优控制3、随机最优控制4、分布参数系统的最优控制5、大系统的次优控制6、离散系统的最优控制及最优滑模变结构控制7,8等。 而对于非线性系统，其最优控制求解相当困难， 需要求解非线性 HJB 方程或非线性两点边值问题，除简单情况外9，这两个问题都无法得到解析解。 因此，许多学者都致力于寻求近似的求解方法1013，通过近似解得到近似的最优控，即次优控制。1 非线性最优控制理论研究成果分类目前，较为流行的近似最优控制求解方法主要有以下几类6 13。11 幂级数展开法：幂级数展

4、开方法通过一个幂级数来构造控制律，得到序列形式的近似最优解，或者将系统中的非线性项以幂级数形式分解，或者通过引进一个临时变量并围绕它展开。V（x）=i =0V（i）（x），Vx（x）=i = 0V（i）（x），f（x）=i = 0f（i）（x）将上式代入 HJB 方程求得级数近似解， 也可利用 Adomian 分解将非线性项进行分解，由此寻求非线性 HJB 方程级数的近似解。12 Galerkin 逐次逼近方法：由动态规划得到的一般性偏微分 HJB 方程， 引入一个迭代过程来求解一般非线性 HJB 方程的一个近似解序列。u（k1）12R1BT 坠V（k）坠x（x），k0，1，213 广义正交多

5、项式级数展开法： 其主要思想是将最优控制问题中的状态变量，控制输入，性能指标和各个参数分别用广义正交多项式展开，利用广义正交多项式的积分、乘积运算阵tt0乙（t）dtP（t），ti（t）Li（t）将描述系统的微分方程转化为一系列的代数方程 XMUN。 然后， 得到 TU=V，T 非奇异时由 U=T-1V 得到的控制律是一个多项式级数解 u（t）pt（t）U。 该方法将最优控制问题转化为代数极值问题，从而避免了求解时变非线性 Riccati 方程。14 有限差分和有限元方法： 经典的有限差分和有限元方法可以用来近似求解非线性 HJB 方程。 近年来，这类方法用来近似求取非线性HJB 方程的粘性解

6、。15 状态相关 Riccati 方程方法： 这种方法适用的模型是仿射非线性系统，通过极大值原理假设最优控制律具有如下形式u*（t）R1BT（x）P（x）x其中 P（x）为下式所述里卡提方程的解P.（x）=AT（x）P（x）P（x）A（x）P（x）B（x）R1BT（x）QP（x（tf）Qf这样，问题的关键归结于近似求解 P（x）。 状态相关里卡提方程方法通过在 P（x）中引 入 灵 敏 度 参 数 变 量 ，在 0 邻 域 内 将 P（x）展 为幂级数P（x，）P（x）0P（x）2 20mn 0nLn（x）通过比较幂级数同次项系数将状态相关里卡提方程分解为 一 组矩阵微分方程序列，由此求得其近

7、似解。 状态相关里卡提方程方法所设计的近似最优控制律是一种级数形式的状态反馈控制律。16 Riccati 方程近似序列法： 该方法对非线性系统构造线性时变序列以及相应的线性二次型时变性能指标，得到线性时变序列的最优反馈控制序列uiR1BT（x（i1）P（x（i）x（i），i0其中 P（x（i）Rnn 是里卡提方程近似序列的解。此方法计算量较大，但是当系统的维数不是很大时，较里卡提方程近似序列方法具有很快的收敛速度，并表现出很好的鲁棒性。17 逐次逼近法： 该方法是针对非线性的一次项和高次项可分离的一类非线性系统进行近似最优控制问题的求解，给出了一种逐次逼近的近似求解方法。 该方法针对由极大值原

8、理导致的两点边值问题，构造近似的等价序列将其转化为一组线性非齐次两点边值问题序列，通过迭代求解一系列的向量微分方程，包括状态向量方程序列和共态向量方程序列，得到原非线性系统近似最优控制问题的解。 该方法被广泛应用到各类非线性系统，其最大优点是在迭代过程中每次计算的不是矩阵微分或代数方程，而是向量微分或代数方程，计算量大大减少，而且实时性很高。2 非线性最优控制理论研究成果对比比较以上方法，各有优缺点。 其中，幂级数展开方法要求系统关于状态向量 x 解析，才能够进行展开，这在实际工程应用中是不现实的。Galerkin 逐次逼近法的收敛性过于依赖系统的初值，收敛性在很多情况下是无法保证的。 广义正

9、交多项式级数展开法和有限差分、有限元方法都是采用不同的数学工具来解决近似求解非线性系统的最优控制问题，但这两种方法的计算收敛性不好，所需的巨大计算量也使得它们离工程实际应用有很大一段距离。 状态相关里卡提方程适用于一类仿射非线性系统。 里卡提方程近似序列方法同样适用于一类仿射非线性系统，当处理高维系统时，其计算量将很大。 而逐次逼近法，从计算复杂度看，是对向量迭代，得到的最优控制律是由精确的线性反馈项和非线性补偿项组成，将最优控制的求解转化为非线性补偿向量序列的求极限过程，大大减少了计算量，容易被实际工程所应用。 简言之， 逐次逼近法通过较为简单的计算设计得到系统的近似最优控制律，具有计算量少

10、，易于工程实现的优点，有很好的工程应用前景。 然而，逐次逼近法的缺点在于其对外部扰动和系统内部参数摄动以及未建模动态敏感，因此提高最优控制的鲁棒性是非常必要的。3 结束语对于非线性系统，其最优控制的解一般是不存在的。 再加上非线性系统的复杂性和多样性，这方面的研究成果还很少，尚待解决的问题还很多，本文对非线性最优控制理论现有研究成果对比进行了详细的阐述，并对其优缺点进行了客观的对比，为非线性最优控制理论的进一步研究提供参考。32 最优控制理论的基本内容和常用方法众所周知 ,动态规划、最大值原理和变分法是最优控制理论的基本内容和常用方法。动态规划是贝尔曼20 世纪50 年代中期为解决多阶段决策过

11、程而提出来的。这个方法的关键是建立在他提出的所谓“最优性原理”基础之上的 ,这个原理归结为用一组基本的递推关系式使过程连续的最优转移。它可以求这样的最优解 ,这些最优解是以计算每个决策的后果并对今后的决策制定最优决策为基础的 ,但在求最优解时要按倒过来的顺序进行 ,即从最终状态开始到初始状态为止。动态规划对于研究最优控制理论的重要性在于:它可以得出离散时间系统的理论结果;用动态规划方法可以得出离散时间系统最优解的迭代算法;动态规划的连续形式可以给出它与古典变分法的联系 ,在一定条件下 ,也可以给出它与最大(小) 值原理的联系。这样就使得三种解决最优控制问题的基本方法在一定条件下得以沟通。庞特里

12、雅金于 19561958 年间创立的最大值原理是经典最优控制理论的重要组成部分和控制理论发展史上的一个里程碑。它是解决最优控制问题的一种最普遍的有效方法。由于它放宽了求解问题的前提条件 ,使得许多古典变分法和动态规划无法解决的工程技术问题得到了解决。同时庞特里雅金在他的著作中已经把最优控制理论初步形成了一个完整的体系。当然 ,许多控制问题还是能用古典变分法解决的。在这种情况下 ,采用古典变分法解决问题会更加简便和容易。3 最优化技术最优控制的实现离不开最优化技术 ,最优化技术是研究和解决最优化问题的一门学科 ,它研究和解决如何从一切可能的方案中寻找最优的方案。也就是说 ,最优化技术是研究和解决

13、如何将最优化问题表示为数学模型以及如何根据数学模型尽快求出其最优解这两大问题。一般而言 ,用最优化方法解决实际工程问题可分为三步进行:根据所提出的最优化问题 ,建立最优化问题的数学模型 ,确定变量 ,列出约束条件和目标函数;对所建立的数学模型进行具体分析和研究 ,选择合适的最优化方法;根据最优化方法的算法列出程序框图和编写程序,用计算机求出最优解 ,并对算法的收敛性、通用性、简便性、计算效率及误差等作出评价。4 最优化问题的基本求解方法所谓最优化问题 ,就是寻找一个最优控制方案或最优控制规律 ,使系统能最优地达到预期的目标。在最优化问题的数学模型建立后 ,主要问题是如何通过不同的求解方法解决寻

14、优问题。一般而言 ,最优化方式有离线静态优化方式和在线动态优化方式 ,而最优化问题的求解方法大致可分为四类:4. 1 解析法对于目标函数及约束条件具有简单而明确的数学表达式的最优化问题 ,通常可采用解析法来解决。其求解方法是先按照函数极值的必要条件 ,用数学分析方法求出其解析解 ,然后按照充分条件或问题的实际物理意义间接地确定最优解。4. 2 数值解法(直接法)对于目标函数较为复杂或无明确的数学表达式或无法用解析法求解的最优化问题 ,通常可采用直接法来解决。直接法的基本思想 ,就是用直接搜索方法经过一系列的迭代以产生点的序列 ,使之逐步接近到最优点。直接法常常是根据经验或实验而得到的。4. 3

15、 解析与数值相结合的寻优方法4. 4 网络最优化方法这种方法以网络图作为数学模型 ,用图论方法进行搜索的寻优方法。5 优化方法的新进展5. 1 在线优化方法基于对象数学模型的离线优化方法是一种理想化方法。这是因为尽管工业过程(对象) 被设计得按一定的正常工况连续运行 ,但是环境的变动、触媒和设备的老化以及原料成分的变动等因素形成了对工业过程的扰动 ,因此原来设计的工况条件就不是最优的。解决此类问题的常见方法。5. 1. 1 局部参数最优化和整体最优化设计方法局部参数最优化方法的基本思想是:按照参考模型和被控过程输出之差来调整控制器可调参数 ,使输出误差平方的积分达到最小。这样可使被控过程和参考

16、模型尽快地精确一致。此外 ,静态最优与动态最优相结合 ,可变局部最优为整体最优。整体最优由总体目标函数体现。整体最优由两部分组成:一种是静态最优(或离线最优) ,它的目标函数在一段时间或一定范围内是不变的;另一种是动态最优(或在线最优) ,它是指整个工业过程的最优化。工业过程是一个动态过程 ,要让一个系统始终处于最优化状态 ,必须随时排除各种干扰 ,协调好各局部优化参数或各现场控制器 ,从而达到整个系统最优。5. 1. 2 预测控制中的滚动优化算法预测控制 ,又称基于模型的控制(Model - based Control) ,是 70 年代后期兴起的一种新型优化控制算法。但它与通常的离散最优控

17、制算法不同 ,不是采用一个不变的全局优化目标 ,而是采用滚动式的有限时域优化策略。这意味着优化过程不是一次离线进行 ,而是反复在线进行的。这种有限化目标的局部性使其在理想情况下只能得到全局的次优解 ,但其滚动实施 ,却能顾及由于模型失配、时变、干扰等引起的不确定性 ,及时进行弥补 ,始终把新的优化建立在实际的基础之上 ,使控制保持实际上的最优。这种启发式的滚动优化策略 ,兼顾了对未来充分长时间内的理想优化和实际存在的不确定性的影响。在复杂的工业环境中 ,这比建立在理想条件下的最优控制更加实际有效。预测控制的优化模式具有鲜明的特点:它的离散形式的有限优化目标及滚动推进的实施过程 ,使得在控制的全

18、过程中实现动态优化 ,而在控制的每一步实现静态参数优化。用这种思路 ,可以处理更复杂的情况 ,例如有约束、多目标、非线性乃至非参数等。吸取规划中的分层思想 ,还可把目标按其重要性及类型分层 ,实施不同层次的优化。显然 ,可把大系统控制中分层决策的思想和人工智能方法引入预测控制 ,形成多层智能预测控制的模式。这种多层智能预测控制方法的 ,将克服单一模型的预测控制算法的不足 ,是当前研究的重要方向之一。5. 1. 3 稳态递阶控制对复杂的大工业过程(对象) 的控制常采用集散控制模式。这时计算机在线稳态优化常采用递阶控制结构。这种结构既有控制层又有优化层 ,而优化层是一个两级结构 ,由局部决策单元级

19、和协调器组成。其优化进程是:各决策单元并行响应子过程优化 ,由上一级决策单元(协调器) 协调各优化进程 ,各决策单元和协调器通过相互迭代找到最优解。这里必须提到波兰学者 Findeisen 等所作出的重要贡献。由于工业过程较精确的数学模型不易求得 ,而且工业过程(对象) 往往呈非线性及慢时变性 ,因此波兰学者 Findeisen提出:优化算法中采用模型求得的解是开环优化解。在大工业过程在线稳态控制的设计阶段 ,开环解可以用来决定最优工作点。但在实际使用上 ,这个解未必能使工业过程处于最优工况 ,相反还会违反约束。他们提出的全新思想是:从实际过程提取关联变量的稳态信息 ,并反馈至上一层协调器(全

20、局反馈) 或局部决策单元(局部反馈) ,并用它修正基于模型求出的的最优解 ,使之接近真实最优解。5. 1. 4 系统优化和参数估计的集成研究方法稳态递阶控制的难点是 ,实际过程的输入输出特性是未知的。波兰学者提出的反馈校正机制 ,得到的只能是一个次优解。但其主要缺点在于一般很难准确估计次优解偏离最优解的程度 ,而且次优解的次优程度往往依赖于初始点的选取。一个自然的想法是将优化和参数估计分开处理并交替进行 ,直到迭代收敛到一个解。这样计算机的在线优化控制就包括两部分任务:在粗模型(粗模型通常是能够得到的) 基础上的优化和设定点下的修正模型。这种方法称为系统优化和参数估计的集成研究方法。( Int

21、egrated System Optimiza2tion and Parameter Estimation)5. 2 智能优化方法对于越来越多的复杂控制对象 ,一方面 ,人们所要求的控制性能不再单纯的局限于一两个指标;另一方面 ,上述各种优化方法 ,都是基于优化问题具有精确的数学模型基础之上的。但是许多实际工程问题是很难或不可能得到其精确的数学模型的。这就限制了上述经典优化方法的实际应用。随着模糊理论、神经网络等智能技术和计算机技术的发展。近年来 ,智能式的优化方法得到了重视和发展。5. 2. 1 神经网络优化方法人工神经网络的研究起源于1943 年McCulloch 和 Pitts 的工作。

22、在优化方面 ,1982 年 Hopfield 首先引入Lyapuov 能量函数用于判断网络的稳定性 ,提出了 Hopfield 单层离散模型;Gohen 和 Grossberg 又发展了 Hopfield 单层连续模型。1986年 ,Hopfield 和 Tank 将电子电路与 Hopfield 模型直接对应 ,实现了硬件模拟; Kennedy 和 Chua 基于非线性电路理论提出了模拟电路模型 ,并使用系统微分方程的 Lyapuov 函数研究了电子电路的稳定性。这些工作都有力地促进了对神经网络优化方法的研究。根据神经网络理论 ,神经网络能量函数的极小点对应于系统的稳定平衡点 ,这样能量函数极

23、小点的求解就转换为求解系统的稳定平衡点。随着时间的演化 ,网络的运动轨道在空间中总是朝着能量函数减小的方向运动 ,最终到达系统的平衡点 即能量函数的极小点。因此如果把神经网络动力系统的稳定吸引子考虑为适当的能量函数(或增广能量函数) 的极小点 ,优化计算就从一初始点随着系统流到达某一极小点。如果将全局优化的概念用于控制系统 ,则控制系统的目标函数最终将达到希望的最小点。这就是神经优化计算的基本原理。与一般的数学规划一样 ,神经网络方法也存在着重分析次数较多的弱点 ,如何与结构的近似重分析等结构优化技术结合 ,减少迭代次数是今后进一步研究的方向之一。由于 Hopfield 模型能同时适用于离散问

24、题和连续问题 ,因此可望有效地解决控制工程中普遍存在的混合离散变量非线性优化问题。5. 2. 2 遗传算法遗传算法和遗传规划是一种新兴的搜索寻优技术。它仿效生物的进化和遗传 ,根据“优胜劣汰”原则 ,使所要求解决的问题从初始解逐步地逼近最优解。在许多情况下 ,遗传算法明显优于传统的优化方法。该算法允许所求解的问题是非线性的和不连续的 ,并能从整个可行解空间寻找全局最优解和次优解 ,避免只得到局部最优解。这样可以为我们提供更多有用的参考信息 ,以便更好地进行系统控制。同时其搜索最优解的过程是有指导性的 ,避免了一般优化算法的维数灾难问题。遗传算法的这些优点随着计算机技术的发展 ,在控制领域中将发

25、挥越来越大的作用。目前的研究表明 ,遗传算法是一种具有很大潜力的结构优化方法。它用于解决非线性结构优化、动力结构优化、形状优化、拓扑优化等复杂优化问题 ,具有较大的优势。5. 2. 3 模糊优化方法最优化问题一直是模糊理论应用最为广泛的领域之一。自从Bellman 和 Zadeh4 在 70 年代初期对这一研究作出开创性工作以来 ,其主要研究集中在一般意义下的理论研究、模糊线性规划、多目标模糊规划、以及模糊规划理论在随机规划及许多实际问题中的应用。主要的研究方法是利用模糊集的截集或确定模糊集的隶属函数将模糊规划问题转化为经典的规划问题来解决。模糊优化方法与普通优化方法的要求相同 ,仍然是寻求一

26、个控制方案(即一组设计变量) ,满足给定的约束条件 ,并使目标函数为最优值 ,区别仅在于其中包含有模糊因素。普通优化可以归结为求解一个普通数学规划问题 ,模糊规划则可归结为求解一个模糊数学规划(fuzzy mathematical program2ming) 问题。包含控制变量、目标函数和约束条件 ,但其中控制变量、目标函数和约束条件可能都是模糊的 ,也可能某一方面是模糊的而其它方面是清晰的。例如模糊约束的优化设计问题中模糊因素是包含在约束条件(如几何约束、性能约束和人文约束等) 中的。求解模糊数学规划问题的基本思想是把模糊优化转化为非模糊优化即普通优化问题。方法可分为两类:一类是给出模糊解(

27、fuzzy solution) ; 另一类是给出一个特定的清晰解(crisp solution) 。必须指出 ,上述解法都是对于模糊线性规划(fuzzy linear programming) 提出的。然而大多数实际工程问题是由非线形模糊规划 (fuzzy nonlinear programming) 加以描述的。于是有人提出了水平截集法、限界搜索法和最大水平法等 ,并取得了一些可喜的成果。在控制领域中 ,模糊控制与自学习算法、模糊控制与遗传算法相融合 ,通过改进学习算法、遗传算法 ,按给定优化性能指标 ,对被控对象进行逐步寻优学习 ,从而能够有效地确定模糊控制器的结构和参数。6 结束语最优控

28、制理论的应用领域十分广泛 ,如时间最短、能耗最小、线性二次型指标最优、跟踪问题、调节问题和伺服机构问题等。但它在理论上还有不完善的地方 ,其中两个重要的问题就是优化算法中的鲁棒性问题和最优化算法的简化和实用性问题。大体上说 ,在最优化理论研究和应用方面应加强的课题主要有: 适合于解决工程上普遍问题的稳定性最优化方法的研究; 智能最优化方法、最优模糊控制器设计的研究; 简单实用的优化集成芯片及最优化控制器的开发和推广利用; 复杂系统、模糊动态模型的辩识与优化方法的研究; 最优化算法的改进。相信随着对这些问题的研究和探索的不断深入 ,最优控制技术将越来越成熟和实用。4什么是自寻最优控制自寻最优控制

29、是一种最优控制,经典的最优控制是: 按照被控对象的动态特性,找出一个容许控制方案,使被控对象按照性能要求运转,并最终使某一性能指标在某种意义下达到最优值。这种理论已成功地应用于各种领域。但是,在最优控制器的设计中,首先要建立被控对象(系统) 的数学模型, 一般地,建立某个特定系统的精确数学模型是一件非常困难的工作,这不仅是因为系统本身的复杂性, 而且一般来说系统的参数是时变的。 在这种背景下, 针对工业应用中的一类对象,美国自动控制学家D r aP e r和 L a n in g等人为了能使被控对象处在最优工作状态或次优工作状态, 设想把本来由设计人员事先应了解与掌握的被控对象的性质与特性这一

30、任务,由控制系统在系统运行的过程中来完成。基于这一思想, 在进行控制系统设计时就不需要有关被控对象的确切知识, 而是采用在运行过程中“ 不断测量”和“ 不断理解”的方法, 由系统本身去摸清当时系统运转的条件, 按某种优化准则,最优地修改控制动作。这种自动寻找最优工作运转点的自动控制系统,称为“自寻最优点” 的控制系统,或简称“自寻最优控制”。自寻最优控制的实现方法自寻最优控制是 50 年代初提出来的一种控制方法,早期对它的研究是针对一些实际间题进行的,通过大量的试验和研究, 有一些成功的应用实例。搜索极值点的方法分为静态搜索法和动态搜索法两大类。L 静态搜索法根据加到被控对象的输入信号或从被控

31、对象输出所取信号的方式不同,静态搜索法主要有以下几种闭:(1) 测量导数法(微商判断法)利用被控对象静态特性 y 一f (u) 的微商d y / d u 的符号和大小进行控制。如图2 中在最优点 A 附近的输入 u 和输出y 的关系可以近似地用抛物线y - 一K (u 一a )2+ b 表示,K o,在A, 点处,d y /du 0, 则u 应向增大方向走;在AZ点处, d y / d u o , 则u 应向减小方向走。(2 )谐波调制法(相位判断法)如果输入u 由一个变化缓慢的量u。 和一个振幅为A,频率为W 的正弦函数组成, 即u = u。+ A s inw t若系统的线性特性为y 一K

32、u Z , 则K一2+y = 一K (u a Z+ ZK u aA s inw tAZ e o s ZW t将上式二次谐波滤去,利用一次谐波作为搜索最优工作点的判断信号。 当工作点位于最优点左边时,其系统输出的一次谐波相位与输入的正弦信号完全一致; 而当工作点位于最优点右边时, 它们的相位相差1 80。 。 因此,可以在被控对象上加入正弦波试探信号,据系统输出信号产生的不同相位移来确定优化控制方向,从而搜索到被控对象的最优工作点。(3) 极值记忆法在极值记忆法中,控制系统将输出的最大值yma二记忆下来,然后与实时控制中的y 进行比较。 当yma 二与y 差值达到工作的临界值,改变执行机构的调节方向,同时清除记忆装置原来记下的最大值。 随着y 值的增大重新开始记忆,这一过程将不断重复,输出y 将围绕最优点附近波动,越来越接近最优工作