break;
end;
end
对于
引进后移算子
假定在初始条件0时z变换得到
ARX模型有：
；为均值为0的噪声项
上式可以改写为
上式改写为最小二乘格式（3）
对于（3）式的次观测构成一个线性方程组即
.
取极小化准则函数，极小化，求得参数的估计值，
表示为了确定使准则最小的条件，将该式对各参数求导，并令其结果等于零：
，只要矩阵是满秩的，则是正定的，使准则为极小的条件得到满足，
最小二乘估计的递推算法（RLS）
最小二乘法，不仅占用大量内存，而且不适合于在线辨识，为了解决这个问题，把它转化为递推算法：
若令,则
加权递推最小二乘（RWLS）：
e（k）为有色噪声，v（k）为白噪声。
。
取，
当噪声为有色噪声时，采用增广最小二乘法：
其思路采用CARMA模型。
在实际应用中噪声v（k）有两种形式：
1matlab最小二乘法拟合
[a,Jm]=lsqcurvefit（fun,a0,x,y）;fun不支持句柄函数
a0为最优化的初始值，fun为数据原型函数。
x=lsqcurvefit（fun,x0,xdata,ydata,lb,ub）；lb≤x≤ub
[x,norm,res,ef,out,lam,jac]=lsqcurvefit（@F,x0,t,y,v1,v2,opt,P1,P2,...）
其中输出变量的含义为：
1）x：
最优解
2）norm：
误差的平方和
3）res:
误差向量
4）ef：
程序结束时的状态指示：
·>0：
收敛
·0：
函数调用次数或迭代次数达到最大值（该值在options中指定）
·<0：
不收敛
5）out:
包含以下数据的一个结构变量
·funcCount函数调用次数
·iterations实际迭代次数
·cgiterations实际PCG迭代次数（大规模计算用）
·algorithm实际使用的算法
·stepsize最后迭代步长（中等规模计算用）
·firstorderopt一阶最优条件满足的情况（大规模计算用）
6）lam：
上下界所对应的Lagrange乘子
7）jac：
结果（x点）处的雅可比矩阵
输入参数
其中输入变量的含义为：
·x0为初始解（缺省时程序自动取x0=0）
·t,y:
拟合数据
·v1,v2:
参数待求x的上下界
·options：
包含算法控制参数的结构
LineSearchType线搜索方法
（‘cubicpoly’,’quadcubic’（缺省值））
opt=optimset（oldopts,newopts）
可以设定的参数比较多，对lsqnonlin和lsqcurvefit，常用的有以下一些参数：
Diagnostics是否显示诊断信息（'on'或'off）
Display显示信息的级别（'off'，'iter'，'final，'notify）
LargeScale是否采用大规模算法（'on'或'off）缺省值为on
MaxIter最大迭代次数
TolFun函数计算的误差限
TolX决策变量的误差限
Jacobian目标函数是否采用分析Jacobi矩阵（'on'，'off）
MaxFunEvals目标函数最大调用次数
LevenbergMarquardt搜索方向选用LM法（‘on’）,GN法（‘off’,缺省值）
LineSearchType线搜索方法（‘cubicpoly’,’quadcubic’（缺省值））
LargeScale:
[on|off]
LevenbergMarquardt:
[{on}|off]
例子1用matlab实现对
1首先编写m文件
functionf=lsq（x,xdata）
f=x
（1）*sin（xdata）+0.5*x
（2）*sin（2*xdata）./（1-x
（2）^2*sin（xdata）.^2）.^0.5
2利用lsqcurvefit函数调用m文件
m=4;k=0.4
o=[0:
0.01*pi:
2*pi];
xdata=o;
ydata=m*sin（o）+0.5*k*sin（2*o）./（1-（k^2*sin（o）.^2））.^0.5;
x0=[0;0];
[x,resnorm]=lsqcurvefit（@lsq,x0,xdata,ydata）
结果得到：
x
（1）=4.0000;x
（2）=0.4000;resnorm=6.3377e-016
2nlinfit
m=4;k=0.4;
o=[0:
0.005*pi:
2*pi];
xdata=o;
ydata=m*sin（o）+0.5*k*sin（2*o）./（1-（k^2*sin（o）.^2））.^0.5;
x0=[0;0];
beta=nlinfit（xdata,ydata,@lsq,x0）
例子1.1用fminunc函数；
k1=13;k2=1.3;k3=9.1;
xdata=0:
pi/100:
pi;
ydata=k1*exp（k2*xdata）+k3*sin（xdata）;
F=@（x）norm（x
（1）.*exp（x
（2）.*xdata）+x（3）.*sin（xdata）-ydata）;
[x,fr]=fminunc（F,[000]）
[x,fr]=fminsearch（F,[111]）
例子1.2用遗传算法的参数识别
k1=13;k2=1.3;k3=9.1;
xdata=0:
pi/100:
pi;
ydata=k1*exp（k2*xdata）+k3*sin（xdata）;
F=@（x）norm（x
（1）.*exp（x
（2）.*xdata）+x（3）.*sin（xdata）-ydata）;
[x,fval]=ga（F,3,[],[],[],[],[10;1;8],[20;10;15]）
%ee=norm（E）;%使用差平方和最小原则；或者使用sum（abs（E））;
%ee=norm（E）/sqrt（n）;%使用rms准则
例子1.3利用multistart方法
k1=13;k2=1.3;k3=9.1;
xdata=0:
pi/100:
pi;
ydata=k1*exp（k2*xdata）+k3*sin（xdata）;
F=@（x）norm（x
（1）.*exp（x
（2）.*xdata）+x（3）.*sin（xdata）-ydata）;
ms=MultiStart;
opts=optimset（'Algorithm','interior-point','LargeScale','off'）;
problem=createOptimProblem（'fmincon','x0',[10,1,8],'objective',F,'lb',[1,0,1],'ub',[20,10,15],'options',opts）;
[xminm,fminm,flagm,outptm,manyminsm]=run（ms,problem,200）
例子1.4利用globalsearch
k1=13;k2=1.3;k3=9.1;
xdata=0:
pi/100:
pi;
ydata=k1*exp（k2*xdata）+k3*sin（xdata）;
F=@（x）norm（x
（1）.*exp（x
（2）.*xdata）+x（3）.*sin（xdata）-ydata）;
gs=GlobalSearch（'Display','iter'）;
opts=optimset（'Algorithm','interior-point'）;
problem=createOptimProblem（'fmincon','x0',[10,1,8],'objective',F,'lb',[1,0,1],'ub',[20,10,15],'options',opts）;
[xming,fming,flagg,outptg,manyminsg]=run（gs,problem）
例子1.5利用multistart和lsqcurvefit
k1=13;k2=1.3;k3=9.1;
xdata=0:
pi/100:
pi;
ydata=k1*exp（k2*xdata）+k3*sin（xdata）;
ms=MultiStart;
opts=optimset（'Algorithm','trust-region-reflective'）;
problem=createOptimProblem（'lsqcurvefit','x0',[10,1,8],'xdata',xdata,'ydata',ydata,'objective',@myfun,'lb',[1,0,1],'ub',[20,10,15],'options',opts）;
[xminm,fminm,flagm,outptm,manyminsm]=run（ms,problem,100）
functiony=myfun（x,xdata）
y=x
（1）.*exp（x
（2）.*xdata）+x（3）.*sin（xdata）;
例子1.6利用multistart和lsqnonlin（8s）
k1=13;k2=1.3;k3=9.1;
xdata=0:
pi/100:
pi;
ydata=k1*exp（k2*xdata）+k3*sin（xdata）;
F=@（x）x
（1）.*exp（x
（2）.*xdata）+x（3）.*sin（xdata）-ydata;
ms=MultiStart;
opts=optimset（'Algorithm','trust-region-reflective'）;
problem=createOptimProblem（'lsqnonlin','x0',[10,1,8],'xdata',xdata,'ydata',ydata,'objective',F,'lb',[1,0,1],'ub',[20,10,15],'options',opts）;
[xminm,fminm,flagm,outptm,manyminsm]=run（ms,problem,100）
1.7利用matlabpoolparallel加速
tic;
k1=13;k2=1.3;k3=9.1;
xdata=0:
pi/100:
pi;
ydata=k1*exp（k2*xdata）+k3*sin（xdata）;
F=@（x）x
（1）.*exp（x
（2）.*xdata）+x（3）.*sin（xdata）-ydata;
ms=MultiStart（'Display','iter','UseParallel','always'）;
opts=optimset（'Algorithm',
升级会员 