第八章动态规划原理与最优控制PPT文件格式下载.ppt

第八章动态规划原理与最优控制PPT文件格式下载.ppt

《第八章动态规划原理与最优控制PPT文件格式下载.ppt》由会员分享，可在线阅读，更多相关《第八章动态规划原理与最优控制PPT文件格式下载.ppt（52页珍藏版）》请在冰豆网上搜索。

3主要内容主要内容n离散动态规划离散动态规划n离散动态规划在离散系统最优控制中的应用离散动态规划在离散系统最优控制中的应用n连续动态规划在连续系统最优控制中的应用连续动态规划在连续系统最优控制中的应用47.17.1离散动态规划离散动态规划n最优性原理最优性原理动态规划的基础动态规划的基础n若一个若一个NN级决策系统是最优的级决策系统是最优的,则以第则以第kk级（级（）决策所形成的状态作为初态的任何一个）决策所形成的状态作为初态的任何一个N-KN-K级子决策也必然是最优的。

级子决策也必然是最优的。

5n根据最优性原理根据最优性原理n确定了一个从后向前的递推过程确定了一个从后向前的递推过程n基于最优性原理的动态规划方法基于最优性原理的动态规划方法成为成为解决最优控制问题的有力工具解决最优控制问题的有力工具6动态规划原理求从SF点路程最短的方法7枚举法SX1

（1）X1

（2）X1（3）F4+6+1+4=15SX1

（1）X2

（2）X1（3）F4+6+2+4=16SX1

（1）X2

（2）X2（3）F4+6+2+3=15SX1

（1）X1

（2）X2（3）F4+6+1+3=14SX2

（1）X1

（2）X1（3）F5+4+1+4=14SX2

（1）X1

（2）X2（3）F5+4+1+3=13SX2

（1）X2

（2）X1（3）F5+7+2+4=18SX2

（1）X2

（2）X2（3）F5+7+2+3=178可能解数量为2（n-1）n=4,为23=8种.加法次数为：

（n-1）*2（n-1）n=4,为（4-1）*23=24次.若n=10,则可能解数为：

2（10-1）=29=512种.加法（10-1）*29=9*29=9*512=4608次.9动态规划法从最后一级开始：

JX1（3）=4JX2（3）=3,J*X1（3）=4,J*X2（3）=3倒数第二级：

路线X1

（2）X1（3）FJ=1+J*X1（3）=5X1

（2）X2（3）FJ*=1+J*X2（3）=4X2

（2）X1（3）FJ=2+J*X1（3）=6X2

（2）X2（3）FJ*=2+J*X2（3）=5J*X1

（2）=4,J*X2

（2）=510倒数第三级路线X1

（1）X1

（2）FJ*=6+4=10X1

（1）X2

（2）FJ=6+5=11X2

（1）X1

（2）FJ*=4+4=8X2

（1）X2

（2）FJ=7+5=12J*X1

（1）=10,J*X2

（1）=811第一级路线SX1

（1）FJ=4+10=14SX2

（1）FJ*=5+8=13即J*S=1312最优决策为SX2

（1）X1

（2）X2（3）FJ*S=13加法次数:

4*（n-2）+2次n=4时，4*（4-2）+2=10次13各个状态到终点的最短距离各个状态到终点的最短距离J*S=13J*X1

（1）=10J*X2

（1）=8J*X1

（2）=4J*X2

（2）=5J*X1（3）=4J*X2（3）=31415n设离散系统的状态方程为设离散系统的状态方程为nxxnn维状态向量，维状态向量，uumm维控制向量维控制向量n始端始端和终端和终端固定固定7.27.2离散动态规划在离散系统最优控制中的应用离散动态规划在离散系统最优控制中的应用16n求最优控制序列求最优控制序列n使目标泛函使目标泛函n取极小值取极小值17n动态规划的目的动态规划的目的n使使JJ最小最小n即即n将以将以为初态的为初态的N-j（=k）N-j（=k）级最优决策级最优决策18n根据最优性定理根据最优性定理n如果如果NN级决策是最优的级决策是最优的n则以在前则以在前j1j1决策上形成的决策上形成的为初态的为初态的NjNj级决策是最优决策级决策是最优决策n从这点出发，形成了逆向递推的最优化方法，这种从这点出发，形成了逆向递推的最优化方法，这种方法被称为方法被称为动态规划动态规划19n根据最优性定理根据最优性定理n利用动态规划方法形成递推公式利用动态规划方法形成递推公式n当终端固定时当终端固定时n直接利用递推公式求解最优控制问题直接利用递推公式求解最优控制问题2021令：

令：

2223n例例11n设离散系统的状态方程为设离散系统的状态方程为n已知已知n求最优控制求最优控制uu使目标泛函为使目标泛函为n最小最小24n解：

解：

由递推公式由递推公式K=3时时25上述最优化问题的解为上述最优化问题的解为最优目标函数为最优目标函数为K=2时时26K=1时求解求解可得可得最优目标函数为最优目标函数为27K=0时时求解求解可得可得最优目标函数为最优目标函数为28求解的求解的结果结果29307.37.3连续动态规划连续动态规划在连续系统最优控制中的应用在连续系统最优控制中的应用n动态规划动态规划n可用于连续系统的优化问题可用于连续系统的优化问题n对于连续系统对于连续系统n根据最优性原理根据最优性原理n可得到可得到Hamilton-JacobiHamilton-Jacobi方程方程31n对于连续系统对于连续系统nxnxn维状态向量，维状态向量，uumm维控制向量维控制向量n且容许控制且容许控制uu在在mm维欧氏空间维欧氏空间的某一给定的某一给定域域中取值即中取值即32n已知始端固定已知始端固定n即即n求最优控制求最优控制n使目标泛函使目标泛函n取极小值取极小值（3）33由最优性原理推导出极大值原理由最优性原理推导出极大值原理定义定义式中式中而而x（s）是在区间是在区间上和最优控制函数有关的轨线，上和最优控制函数有关的轨线，其中其中，且，且给定。

给定。

（4）（5）34n显然显然n所有所有都满足都满足n假设假设VV存在，连续存在，连续n并且具有连续的一阶和二阶偏导数并且具有连续的一阶和二阶偏导数（6）35推导动态规划的推导动态规划的Hamilton-Jacobi方程方程（7）36（8）37等式两边消去等式两边消去，得，得上式称为上式称为Hamilton-Jacobi方程方程或者称为或者称为Hamilton-Jacobi-Bellman方程方程（9）38对于所给最优控制问题，重复以上讨论，导致对于所给最优控制问题，重复以上讨论，导致由此，对于所有由此，对于所有，u必须满足必须满足（10）（11）（12）39上上式式说明，说明，Lagrange乘子向量（或协态向量）乘子向量（或协态向量）是最小目标函数在最优轨线上的梯度。

是最小目标函数在最优轨线上的梯度。

从（从（9）、（）、（10）式可以看出）式可以看出即在最优轨线上应使即在最优轨线上应使Hamilton函数函数H为全局最小，为全局最小，这正是庞特里亚金的极大值原理。

这正是庞特里亚金的极大值原理。

40n例例11n考虑线性定常系统考虑线性定常系统n式中式中n假定任何的假定任何的都是容许控制都是容许控制n要求找到作为要求找到作为的函数的函数，使得，使得41n解：

n即即42n这样这样43n因为因为n时不变时不变n且最优化是针对一个无限持续的过程且最优化是针对一个无限持续的过程n只依赖于初始状态只依赖于初始状态n即即44n由于由于n故故HamiltonJacobiHamiltonJacobi方程变成方程变成45n假设一个解假设一个解n则则n-对称矩阵对称矩阵46则则Hamilton-Jacobi方程变成方程变成P必须满足的代数方程必须满足的代数方程47例例2考虑如下系统考虑如下系统目标函数为目标函数为48Hamilton函数为函数为令令49Hamilton-Jacobi方程为方程为若优化区间为无穷大，则若优化区间为无穷大，则我们求解如下微分方程我们求解如下微分方程50为了求解上述非线性微分方程，将为了求解上述非线性微分方程，将V（x）展展开成如下级数形式：

开成如下级数形式：

令令n=4，则得则得51所以最优控制作用为所以最优控制作用为闭环系统为闭环系统为52