基于最小二乘法的系统辨识问题研究综述.docx

1、基于最小二乘法的系统辨识问题研究综述基于最小二乘法的系统辨识问题研究综述摘要：对基于最小二乘法的系统辨识方法进行了介绍。首先对系统辨 识槪念以及最小二乘法原理进行了介绍，然后根据例子来说明怎样运 用最小二乘法来解决实际辨识问题。而且本文针对最小二乘存在的缺 陷进一步阐述了一些改进型最小二乘法在系统辨识中的应用，最后对 系统辨识的发展趋势做了预测。关键字：系统辨识最小二乘法改进型最小二乘法发展趋势1引言系统辨识归根到底是一种数学建模的过程，而建模过程中运用的 方法并不唯一，最小二乘法是较早被应用于系统辨识中的一类方法。 1962年，L. A. Zadeh最先提出了系统辨识的定狡：“辨识就是在 输

2、入和输出数据的基础上，从一组给定的模型类中，确定一个与所测 系统等价的模型。”简单的来说，就是在现有数据的基础上，按照一 个准则在一组模型类中选择一个与提供的数据拟合得最好的模型。而 根据最小二乘法的定艾：“最小二乘法是一种数学优化技术，它通 过最小化误差的平方和寻找数据的最佳函数匹配。”其基本思想就是 让实测数据和估计数据之间的平方和最小，这恰恰是系统辨识所需要 解决的问题，所以最小二乘法很早就被用来求解辨识中需要的拟合数 学模型。本文在阐述最小二乘法理论的基础上对于其在系统辨识中的应 用做了介绍，并指出实际应用中存在的不足，列举了几种改进型的最 小二乘算法来改进系统辨识能力，最后给出了系统

3、辨识的发展趋势。2基于最小二乘法的系统辨识的理论基础及应用2.1系统辨识的理论基础从字面上讲，系统辨识(System Identification)就是识别一 个系统、辨识一个系统。系统通常是由表征系统输入输出关系的数 学模型描述的，这个模型有其特定的结构和参数。因此，系统辨识包 含系统结构辨识(System Structure Identification)和参数估计 (Parameter Estimation).系统结构(或模型结构)就是系统数学表达式的形式。对单输入 单输出线性系统而言，模型结构就是系统的阶次(Order);对多变量 线性系统而言，模型结构就是系统的能控性结构指数 (Co

4、ntro I Iabi I ity Structure I ndex) 或 能 观 测 性 结 构 指 数 (Observabi I ity Structure I ndex),系统阶次等于系统的能控性结 构指数或能观测性结构指数之和。对传递函数而言，系统参数就是传 递函数分子分母多项式的系数(Coeffi-cient)，系统阶次就是传递 函数分母多项式的次数(Degree);对状态空间模型而言，系统参数 就是状态空间模型的A, B, C, D矩阵，就是状态向量的维数或矩阵 的维数，它等于系统的能控性结构指数系统阶次或能观测性结构指数 之和。求解系统辨识问题实质上就是找到合适的数学方法来判断系

5、统 的结构以及得到系统参数。2.2最小二乘法的理论基础最小二乘法作为一种传统的参数估计方法，早已经被大家所了 解。然而大多同学对最小二乘法的认识都比较模糊，仅仅把最小二 乘法理解为简单的线性参数估计。事实上，最小二乘法在参数估计、 系统辨识以及预测、预报等众多领域都有着广泛的应用。特别是针对 动态系统辨识的方法有很多，但其中应用最广泛，辨识效果良好的就 是最小二乘辨识方法，研究最小二乘法在系统辨识中的应用具有现实 的、广泛的意义。因此要用最小二乘法解决实际的辨识问题，首先要 对最小二乘法有深刻理解。下面是一般的最小二乘法问题：实系数线性方程组anXi+ai2x2+ainxn-bi=Oa2iXi

6、+a22X2+a2nXn_b2=0 (2.1)amiXi+am2x2+Xn_bm= 0方程组可能无解。即可能不存在一组实数X1,x2,，Xs使in工(4內 + ai2x2 + + ainxn 一S)2 =0 (2. 2)Z-1恒成立。因此我们转而求其次，设法找到实数组XH X2,，Xs使误 差的平方和最小，这样的Xi, X2,，Xs称为方程组的最小二乘解， 这样问题就叫最小二乘法问题。2.3最小二乘法处理辨识问题的应用举例考虑如下线性系统：Z (灯 + 绚 Z ( 1) + +% z 伙一叫)=切伙 一 1) + 也严(k-Hb)+e(k) 其中，如为系统激励信号，卩俐为系统输出，e如为模型噪

7、声。其系统模型如图1所示：图1 SISO的系统模型结构图其中GQJ是系统函数模型，N(z)为有邑噪声系统模型，e如为白噪声v(k)经过系统 函数为N(z)的系统后的输出。通常式中:A ( Z -) = 1 + q Z+ a2z + + % z w B() = + b2Z + + b%z hCl + c忆+宀+ g () = dxzx +”+ + 如严则系统可表示为(5)设样本和参数集为:伙)= -z伙-1) , -z伙-2) - z(k -心伙1)川伙-2),，伙 F)0 = aa2 4少为可观测的量，差分方程可写为最小二乘形式(7)Z(k) = /iT(k)0 + e(k)如何在系统噪声存在

8、的情况下从该方程中正确的解出6即是系统辨识的任务。为了求出我们面临三大问题：一是输入信号的选择，二是判决准则的选取，三是辨 识算法的选择，下面一一探讨。一.选择输入为了准确辨识系统参数，我们对输入信号有两大要求，一是信号要能持续的激励系统所 有状态，二是信号频带能覆盖系统的频带宽度。除此之外还要求信号有可重复性，不能是不 可重复的随机噪声，因此我们通常选择序列或逆序列作为输入。二.准则函数因为本文主要探讨最小二乘类辨识方法，在此选取准则函数丿（&）=亠亡讹）一於町 -1 2使准则函数丿（&） = min的&估计值记做九，称作参数&的最小二乘估计值。 在式（7）中，令k=1f 2f 3fL,可构

9、成线性方程组：(9)S(k) = H：(k)8+ek)式中z=Z“，5(Q-z(0) - -z(l-na)-z(l)-z(2-件)(10)(1-)u(2-吟)一诧一 1）_z(厶h(L-S)准则函数相应变为：(11)丿（&）=/丁=讹）-只町=亿-7&）（处） 女1 衣】极小化J（9）,求得参数&的估计值，将使模型更好的预报系统的输出。三.最小二乘辨识算法设使得丿（&） = min，则有展开上式，并根据以下两个向董微分公式：6一&X6 一办A r2XA为对称阵得正则方程：当日:刀为正则阵时，有取=（h：h$h；s(12)(13)(14)(15)且有鳥纠昂、= 2H；Hl0,所以满足式(15)的

10、无唯一使得丿(0) = min,这种通过极小化式(11)计算&小的方法称作最小二乘法。而且可以证明，当噪声e如是均值 为0的离斯白噪声时，可实现无偏估计3最小二乘法在辨识时存在的问题及其改进型的系统辨识应用举例 3.1传统最小二乘存在的问题最小二乘法存在一些缺陷制约着最小二乘法在系统辨识中的应 用，在处理日益复杂的系统辨识问题中，最小二乘法在系统辨识中存 在的缺陷逐渐显现出来。如传统的最小二乘法不适合在动态辨识系统 中使用，而且其参数估计存在偏差，耗时较长的问题。3. 2递推最小二乘算法为了减少计算量，减少数据在计算机中占用的存，并实时辨识出系统动态特性，我们常 利用最小二乘法的递推形式。下面

11、我们来推导递推最小二乘算法的原理。首先，将式(11)的最小二乘一次完成算法写为r Tr l i (16)=工讪 (小Li L/-i 定艾j ，-. (17)严心-1)=昭乞_严口 (皿/-I式中乩=於(2)尸(18)心j)式中，丿是一个列向量，也就是的第/行的倒置，PQ是一个方阵，它的维数取 决于未知参数的个数，假设未知参数的个数是g P(k)的维数是nXn. 由式17可得P(k)的递推关系为：r-1= p-l(k-) + h(k)hl (k)设z*_严z(l),z ,，讹一 1)丁z* =z(l),z(2),.,z 丁则& (1) = (必耳 J H：品-k- 仏j)_ 1-1 _女-】 由

12、此可得：p(k l)0(kl) =工力(j)z(i)r-1由式19和22可得&=理弘)加宀自z(?)-/-I = p)p-l)B(l)+心)讹)= P(k)p(k) /心)川仏)0仏1) +心)Z(k)= 0(k-) + P(k)h(k)z(k)-hr(k)O(k-)引进增益矩阵K(k),定义K(k) = P(k)h(k)式23可以进一步写为0= 0(k_l) + Kz伙)_沪(町。伙1) 接下来可以进一步把式20写为P(k) = p(k_l) + (k)/(k)T利用矩阵反演公式(A + CCr)_* = A_, -A_,C(Z + CrA-,C)_，CrA_, 将式(26)演变成P= P(

13、k_l)_P(k_l)(57(k)p(k_i)|y (k)Pk-)h(k) + _ P(k_h(k)h7 (k)_ _/ (灯P(k_l)伙)+ 1(19)(20)(21)(22)(23)(24)(25)(26)(27)P(1)将上式代入式24,整理后可得K（灯= P（R 1）（灯X （灯 P伙一 1）（灯+ 1卩综合式25、27和28可得最小二乘递推参数估计算法RLS0(k) = O(k-)+K(k)_z(k)-hT(k)0(k-)/)=卩(上一1)心)，(比)卩仗一1)蚣)+丁P(k) = l-K(k)hT(k)p(k-)3. 3广义最小二乘法设SISO系统采用如下模型:人(厂)蚣)=3(

14、厂)吩)+可吕叩:)(30)其中A(zf)9 B(z1)和的定义见式？假定模型阶次e,仏和亿已知，用广艾最小二乘法可以得到无倔一致仕计。令(31)zf(k) = C(z-)z(k)竹= C(z-)“8 = 山上2,心知(上)=-分仏-1),，-勺(上一 4)旳仏-1),，勺仏-禺)将模型化为爺小二乘格式：兮(町= /?；()& + &) (33)由于是白噪声，所以用罠小二乘可以获得参数&的无偏估计，由于噪声模型C(F) 未知，还需要用迭代的方法来求得C(z,)t令咻戶詁严) )置0仏)=匕,。2, ,%/. (35)人=一*伙一1)，,Y伙一 4 )这样就把噪声模型也转变为最小二乘格式：e(k

15、) = /仏)0 +”&) (36)由于上式中的噪声已为白噪声，所以用最小二乘也可获得参数久的无偏估计，但是数 扌松向董中依然含有不可测的噪声量_伙一1),y伙一耳),可用相应的估计值来代替, 置认)=-逐_1),-&伙_%)丁,其中k 0时，按照e(k) = z(k)-hT(k)0 (37)计算，式中(灯=一2伙一1),，一Z伙一)(* j)，,伙一坷)丁 (38)综上所述，广义最小二乘法可归纳为2= &(i)+k十)兮-町&(1)K,*(1)存力;匕伙1内+匕=/-0 (小;匕(1)0)詔( j)+K)屮)町仏).(1)K) = #(1)屯仏)町仗比(叽(約+ 1) = / K,(小；(切

16、片(1)4系统辨识的发展及对策最小二乘法(LS)是一种经典的和最基本的，也是应用最广泛的方 法。但是，最小二乘估计是非一致的，是有偏差的，所以为了克服他的 缺陷，而形成了 一些以最小二乘法为基础的系统辨识方法：广义最小 二乘法、增量最小二乘法、渐消记忆的最小二乘法以及将一般的最小 二乘法与其他方法相结合的方法，有最小二乘两步法(COR- LS)和随 机逼近算法等。广义最小二乘法的基本思想是引入一个白化滤波器，把相关噪声 转换为白噪声，基于对观测数据先进行一次滤波处理，然后利用普通 最小二乘法对滤波后的数据进行辨识。递推算法的基本思想是用新估计值对老的估计值进行修正，应用 的数据是实时采集的系统

17、输入输出数据，应用递推算法对参数估计值 进行不断修正，以取得更为准确的参数估计值，而且此方法占据计算 机存储量小，因此在辨识系统中得到了广泛的应用。【最小二乘参数 估计的递推算法及其C语言实现】渐消记忆的最小二乘法在对系统模型参数进行辨识时强调新数 据的作用，贬低老数据的作用，将遗忘因子入引入系统中，在实际应 用中遗传因子入的大小对参数估计的精度以及参数估计值跟踪真值 的变化的能力都有很大的影响，所以选取合适的遗传因子会显著提高 系统的辨识能力。5结论系统辨识的方法有很多，但是最小二乘法是其中最重要、应用最 广泛的一种系统辨识方法。针对经典的最小二乘法存在的一些不足， 广义最小二乘法、递推式最小二乘法以及渐消记忆的最小二乘法等是 一些在科学研究中经常采用的系统辨识方法，这些方法不仅在今天， 而且在未来都会有非常广泛的应用前景，此外新的改进型最小二乘法 也会在其他学科的发展下涌现，使基于最小二乘法的系统能适应更多 的场合，得到更加强大的系统辨识能力。参考文献1 Zadeh L A. From Ci rcui t Theory to System Theory J, Proc. IRE, 1962, 50 （5） :856- 865.2维基百科3系统辨识（1）:辨识导引参考文献1佚名.最小二乘法的论述与证明J.刊名缺失，出版年缺失，卷缺失（期缺失）：页码 国缺失.