基于最小二乘法的系统辨识问题研究综述.docx
《基于最小二乘法的系统辨识问题研究综述.docx》由会员分享，可在线阅读，更多相关《基于最小二乘法的系统辨识问题研究综述.docx（9页珍藏版）》请在冰豆网上搜索。
基于最小二乘法的系统辨识问题研究综述
基于最小二乘法的系统辨识问题研究综述
摘要：
对基于最小二乘法的系统辨识方法进行了介绍。
首先对系统辨识槪念以及最小二乘法原理进行了介绍，然后根据例子来说明怎样运用最小二乘法来解决实际辨识问题。
而且本文针对最小二乘存在的缺陷进一步阐述了一些改进型最小二乘法在系统辨识中的应用，最后对系统辨识的发展趋势做了预测。
关键字：
系统辨识最小二乘法改进型最小二乘法发展趋势
1引言
系统辨识归根到底是一种数学建模的过程，而建模过程中运用的方法并不唯一，最小二乘法是较早被应用于系统辨识中的一类方法。
1962年，L.A.Zadeh最先提出了系统辨识的定狡⑴：
“辨识就是在输入和输出数据的基础上，从一组给定的模型类中，确定一个与所测系统等价的模型。
”简单的来说，就是在现有数据的基础上，按照一个准则在一组模型类中选择一个与提供的数据拟合得最好的模型。
而根据最小二乘法的定艾⑵：
“最小二乘法是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。
”其基本思想就是让实测数据和估计数据之间的平方和最小，这恰恰是系统辨识所需要解决的问题，所以最小二乘法很早就被用来求解辨识中需要的拟合数学模型。
本文在阐述最小二乘法理论的基础上对于其在系统辨识中的应用做了介绍，并指出实际应用中存在的不足，列举了几种改进型的最小二乘算法来改进系统辨识能力，最后给出了系统辨识的发展趋势。
2基于最小二乘法的系统辨识的理论基础及应用
2.1系统辨识的理论基础
从字面上讲，系统辨识（SystemIdentification）就是识别一个系统、辨识一个系统⑶。
系统通常是由表征系统输入输出关系的数学模型描述的，这个模型有其特定的结构和参数。
因此，系统辨识包含系统结构辨识（SystemStructureIdentification）和参数估计（ParameterEstimation）.
系统结构（或模型结构）就是系统数学表达式的形式。
对单输入单输出线性系统而言，模型结构就是系统的阶次（Order）;对多变量线性系统而言，模型结构就是系统的能控性结构指数（ControIIabiIityStructureIndex）或能观测性结构指数（ObservabiIityStructureIndex）,系统阶次等于系统的能控性结构指数或能观测性结构指数之和。
对传递函数而言，系统参数就是传递函数分子分母多项式的系数（Coeffi-cient），系统阶次就是传递函数分母多项式的次数（Degree）;对状态空间模型而言，系统参数就是状态空间模型的A,B,C,D矩阵，就是状态向量的维数或矩阵的维数，它等于系统的能控性结构指数系统阶次或能观测性结构指数之和。
求解系统辨识问题实质上就是找到合适的数学方法来判断系统的结构以及得到系统参数。
2.2最小二乘法的理论基础
最小二乘法作为一种传统的参数估计方法，早已经被大家所了解。
然而大多同学对最小二乘法的认识都比较模糊，仅仅把最小二乘法理解为简单的线性参数估计。
事实上，最小二乘法在参数估计、系统辨识以及预测、预报等众多领域都有着广泛的应用。
特别是针对动态系统辨识的方法有很多，但其中应用最广泛，辨识效果良好的就是最小二乘辨识方法，研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义。
因此要用最小二乘法解决实际的辨识问题，首先要对最小二乘法有深刻理解。
下面是一般的最小二乘法问题：
实系数线性方程组
anXi+ai2x2+•••+ainxn-bi=O
a2iXi+a22X2+•••+a2nXn_b2=0
（2.1）
amiXi+am2x2+Xn_bm=0
方程组可能无解。
即可能不存在一组实数X1,x2,……，Xs使
in
工（4內+ai2x2+・・・+ainxn一S）2=0（2.2）
Z-1
恒成立。
因此我们转而求其次，设法找到实数组XHX2,…，Xs使误差的平方和最小，这样的Xi,X2,…，Xs称为方程组的最小二乘解，这样问题就叫最小二乘法问题。
2.3最小二乘法处理辨识问题的应用举例
考虑如下线性系统：
Z（灯+绚Z（£—1）++%z伙一叫）=切伙一1）+也严（k-Hb）+e（k）⑴
其中，〃如为系统激励信号，卩俐为系统输出，e如为模型噪声。
其系统模型如图1所示：
图1SISO的系统模型结构图
其中GQJ是系统函数模型，N（z'）为有邑噪声系统模型，e如为白噪声v（k）经过系统函数为N（z'）的系统后的输出。
通常
式中:
A（Z-）=1+qZ」+a2z'+・・・+%zwB（「）=+b2Z~~+…+b%z"h
C"l+c忆+宀…+g⑷
£>（「）=dxzx+”+•••+如严
则系统可表示为
（5）
设样本和参数集为:
〃伙）=[-z伙-1）,-z伙-2）-z（k-心"伙・1）川伙-2）,……，"伙F）]'
0=[a^a24少％……
为可观测的量，差分方程可写为最小二乘形式
（7）
Z（k）=/iT（k）0+e（k）
如何在系统噪声存在的情况下从该方程中正确的解出6\即是系统辨识的任务。
为了求出我们面临三大问题：
一是输入信号的选择，二是判决准则的选取，三是辨识算法的选择，下面一一探讨。
一.选择输入
为了准确辨识系统参数，我们对输入信号有两大要求，一是信号要能持续的激励系统所有状态，二是信号频带能覆盖系统的频带宽度。
除此之外还要求信号有可重复性，不能是不可重复的随机噪声，因此我们通常选择"序列或逆〃序列作为输入。
二.准则函数
因为本文主要探讨最小二乘类辨识方法，在此选取准则函数
丿（&）=£［«⑷］亠亡［讹）一於⑷町⑻
^-12
使准则函数丿（&）=min的&估计值记做九，称作参数&的最小二乘估计值。
在式（7）中，令k=1f2f3f……L,可构成线性方程组：
（9）
S（k）=H：
（k）8+e』k）
式中
z⑴
=Z⑵
“，
■
■
5（Q
-z（0）--z（l-na）
-z（l）…-z（2-件）
（10）
（1-§）
"⑴…u（2-吟）
一诧一1）
・•・_z（厶
…h（L-S）
准则函数相应变为：
（11）
丿（&）=£［/⑷丁=£［讹）-只⑷町=亿-7&）（「处）女・1衣■】
极小化J（＜9）,求得参数&的估计值，将使模型更好的预报系统的输出。
三.最小二乘辨识算法
设使得丿（&）=min，则有
展开上式，并根据以下两个向董微分公式：
6一&
X
6一办
Ar
2X
A为对称阵
得正则方程：
当日:
刀」为正则阵时，有取=（h：
h$h；s
（12）
（13）
（14）
（15）
且有鳥纠昂、=2H；Hl>0,所以满足式（15）的无唯一使得丿（0）=min,这
种通过极小化式（11）计算&小•的方法称作最小二乘法。
而且可以证明，当噪声e如是均值为0的离斯白噪声时，可实现无偏估计
3最小二乘法在辨识时存在的问题及其改进型的系统辨识应用举例3.1传统最小二乘存在的问题
最小二乘法存在一些缺陷制约着最小二乘法在系统辨识中的应用，在处理日益复杂的系统辨识问题中，最小二乘法在系统辨识中存在的缺陷逐渐显现出来。
如传统的最小二乘法不适合在动态辨识系统中使用，而且其参数估计存在偏差，耗时较长的问题。
3.2递推最小二乘算法
为了减少计算量，减少数据在计算机中占用的存，并实时辨识出系统动态特性，我们常利用最小二乘法的递推形式。
下面我们来推导递推最小二乘算法的原理。
首先，将式（11）的最小二乘一次完成算法写为
r£T>rli（16）
=工讪⑴□（小⑴
Li」L/-i」
定艾
j，-.（17）
严心-1）=昭乞_严口（皿⑴
/-I
式中
乩=
於
（2）
■
■
■
尸⑵
■
■
（18）
心j）・
式中，丿是一个列向量，也就是〃的第/行的倒置，PQ是一个方阵，它的维数取决于未知参数的个数，假设未知参数的个数是gP（k）的维数是nXn.°
由式17可得P（k）的递推关系为：
r-1
=p-l（k-\）+h（k）hl（k）
设
z*_严[z（l）,z⑵,…，讹一1）丁
z*=[z（l）,z
（2）,.・.,z⑷丁
则
&（—1）=（必耳J'H：
品-
'k-\'
"仏j）⑴
_1-1_
女-】由此可得：
p"（k—l）0（k—l）=工力（j）z（i）
r-1
由式19和22可得
&⑷=理弘）「加宀⑷自⑴z（?
）
-/-I・
=p@）[p・《-l）B（—l）+心）讹）]
=P（k）{[p"（k）—/心）川仏）]0仏—1）+心）Z（k）}
=0（k-\）+P（k）h（k）[z（k）-hr（k）O（k-\）]
引进增益矩阵K（k）,定义K（k）=P（k）h（k）
式23可以进一步写为0⑷=0（k_l）+K⑷[z伙）_沪（町。
伙—1）]接下来可以进一步把式20写为
P（k）=[p"（k_l）+〃（k）//（k）T‘
利用矩阵反演公式（A+CCr）_*=A_,-A_,C（Z+CrA-,C）_，CrA_,将式（26）演变成
P⑷=P（k_l）_P（k_l）〃（57（k）p（k_i）|y（k）P{k-\）h（k）+\_]P（k_"h（k）h7（k）
_'_//（灯P（k_l）〃伙）+1
（19）
（20）
（21）
（22）
（23）
（24）
（25）
（26）
（27）
P（—1）
将上式代入式24,整理后可得
K（灯=P（R—1）〃（灯［X（灯P伙一1）〃（灯+1卩
综合式25、27和28可得最小二乘递推参数估计算法RLS
0（k）=O（k-\）+K（k）\_z（k）-hT（k）0（k-\）]
«/^）=卩（上一1）心）[，（比）卩仗一1）蚣）+丁
P（k）=[l-K（k）hT（k）]p（k-\）
3.3广义最小二乘法
设SISO系统采用如下模型:
人（厂）蚣）=3（厂）吩）+可吕叩:
）
（30）
其中A（zf）9B（z1）和的定义见式？
假定模型阶次e,仏和亿已知，用广艾最小二乘法可以得到无倔一致仕计。
令
（31）
zf（k）=C（z-}）z（k）
竹⑷=C（z-'）“⑷
8=山上2,…心』
知（上）=[-分仏-1）,…，-勺（上一4）旳仏-1）,…，勺仏-禺）]
将模型化为爺小二乘格式：
兮（町=/?
；（£）&+«&）（33）
由于是白噪声，所以用罠小二乘可以获得参数&的无偏估计，由于噪声模型C（F）未知，还需要用迭代的方法来求得C（z,）t>令
咻戶詁严）⑶）
置
0仏）=匕,。
2,•••,%]/
...（35）
人⑷=[一*伙一1），…,Y伙一4）]
这样就把噪声模型也转变为最小二乘格式：
e（k）=/^仏）0+”&）（36）
由于上式中的噪声已为白噪声，所以用最小二乘也可获得参数久的无偏估计，但是数扌松向董中依然含有不可测的噪声量[_«伙一1）,…,y伙一耳）],可用相应的估计值来代替,置认）=[-逐_1）,…,-&伙_%）丁,其中k<0时，e（k）=O\k>0时，按照
e（k）=z（k）-hT（k）0（37）
计算，式中
〃（灯=［一2伙一1）,…，一Z伙一©）‘"（*j），…,"伙一坷）丁（38）
综上所述，广义最小二乘法可归纳为
2⑷=&（—i）+k十）［兮⑷-町⑷&（―1）］
K,⑷*（—1）存⑷［力;⑷匕伙―1内⑷+『
匕⑷=［/-0（小;⑷］匕（―1）
0"）詔（£j）+K〈）［屮）—町仏）@.（—1）］
K«）=#（—1）屯仏）［町仗比（—叽（約+1『
£"）=［/—K,•（小；（切片（—1）
4系统辨识的发展及对策
最小二乘法（LS）是一种经典的和最基本的，也是应用最广泛的方法。
但是，最小二乘估计是非一致的，是有偏差的，所以为了克服他的缺陷，而形成了一些以最小二乘法为基础的系统辨识方法：
广义最小二乘法、增量最小二乘法、渐消记忆的最小二乘法以及将一般的最小二乘法与其他方法相结合的方法，有最小二乘两步法（COR-LS）和随机逼近算法等。
广义最小二乘法的基本思想是引入一个白化滤波器，把相关噪声转换为白噪声，基于对观测数据先进行一次滤波处理，然后利用普通最小二乘法对滤波后的数据进行辨识。
递推算法的基本思想是用新估计值对老的估计值进行修正，应用的数据是实时采集的系统输入输出数据，应用递推算法对参数估计值进行不断修正，以取得更为准确的参数估计值，而且此方法占据计算机存储量小，因此在辨识系统中得到了广泛的应用。
【最小二乘参数估计的递推算法及其C语言实现】
渐消记忆的最小二乘法在对系统模型参数进行辨识时强调新数据的作用，贬低老数据的作用，将遗忘因子入引入系统中，在实际应用中遗传因子入的大小对参数估计的精度以及参数估计值跟踪真值的变化的能力都有很大的影响，所以选取合适的遗传因子会显著提高系统的辨识能力。
5结论
系统辨识的方法有很多，但是最小二乘法是其中最重要、应用最广泛的一种系统辨识方法。
针对经典的最小二乘法存在的一些不足，广义最小二乘法、递推式最小二乘法以及渐消记忆的最小二乘法等是一些在科学研究中经常采用的系统辨识方法，这些方法不仅在今天，而且在未来都会有非常广泛的应用前景，此外新的改进型最小二乘法也会在其他学科的发展下涌现，使基于最小二乘法的系统能适应更多的场合，得到更加强大的系统辨识能力。
参考文献
[1]ZadehLA.FromCircuitTheorytoSystemTheory[J],Proc.IRE,1962,50（5）:
856-865.
[2]维基百科
[3]系统辨识
（1）:
辨识导引
参考文献
[1]佚名.最小二乘法的论述与证明[J].刊名缺失，出版年缺失，卷缺失（期缺失）：
页码国缺失.
升级会员 