数值分析论文曲线拟合的最小二乘法.docx

数值分析论文曲线拟合的最小二乘法.docx

《数值分析论文曲线拟合的最小二乘法.docx》由会员分享，可在线阅读，更多相关《数值分析论文曲线拟合的最小二乘法.docx（20页珍藏版）》请在冰豆网上搜索。

数值分析论文曲线拟合的最小二乘法

曲线拟合的最小二乘法

姓名：

学号：

专业：

材料工程

学院：

材料科学与工程学院科目：

数值分析

曲线拟合的最小二乘法

一、目的和意义在物理实验中经常要观测两个有函数关系的物理量。

根据两个量的许多组观

测数据来确定它们的函数曲线，这就是实验数据处理中的曲线拟合问题。

这类问题通常有两种情况：

一种是两个观测量x与y之间的函数形式已知，但一些参数未知，需要确定未知参数的最佳估计值；另一种是x与y之间的函数形式还不知道，需要找出它们之间的经验公式。

后一种情况常假设x与y之间的关系是一个待定的多项式，多项式系数就是待定的未知参数，从而可采用类似于前一种情况的处理方法。

在两个观测量中，往往总有一个量精度比另一个高得多，为简单起见把精度较高的观测量看作没有误差，并把这个观测量选作x，而把所有的误差只认为是y的误差。

设x和y的函数关系由理论公式

y＝f（x；c1，c2，……cm）（0-0-1）

给出，其中c1，c2，……cm是m个要通过实验确定的参数。

对于每组观测数据（xi，yi）i＝1，2，……，N。

都对应于xy平面上一个点。

若不存在测量误差，则这些数据点都准确落在理论曲线上。

只要选取m组测量值代入式（0-0-1），便得到方程组

yi＝f（x；c1，c2，……cm）

（0-0-2）

式中i＝1，2，……，m.求m个方程的联立解即得m个参数的数值。

显然N

在N>m的情况下，式（0-0-2）成为矛盾方程组，不能直接用解方程的方法

求得m个参数值，只能用曲线拟合的方法来处理。

设测量中不存在着系统误差，或者说已经修正，则y的观测值yi围绕着期望值摆动，其分布为正态分布，则yi的概率密度为

pyi

1

2

2

exp

i

式中i是分布的标准误差。

为简便起见，下面用C代表（c1，c2，……cm）。

考虑各次测量是相互独立的，故观测值（y1，y2，……cN）的似然函数

2

11Nyfx;C

L

N

12

...

exp

N

i

2

i

2i1

.

取似然函数L最大来估计参数C，应使

y

N1

2i

i1i

fxi;C

min

2

（0-0-3）

取最小值：

对于y的分布不限于正态分布来说，式（0-0-3）称为最小二乘法准则。

若为正态分布的情况，则最大似然法与最小二乘法是一致的。

因权重因

子i1/

2

i，故式（0-0-3）表明，用最小二乘法来估计参数，要求各测量值yi

2

的偏差的加权平方和为最小。

根据式（0-0-3）的要求，应有

N1

2

yi

cki1i

fxi;C

ccˆ0

k1,2,...,m

从而得到方程组

y

N1

2i

i1i

fxi;C

fx;CCk

ccˆ0

k1,2,...,m

（0-0-4）

解方程组（0-0-4），即得m个参数的估计值cˆ1,cˆ2,...,cˆm，从而得到拟合的曲

线方程f

x;cˆ1,cˆ2,...,cˆm。

2

然而，对拟合的结果还应给予合理的评价。

若yi服从正态分布，可引入拟合的x2量，

1

N

x

y

2

2i

i1i

fxi;C

（0-0-5）

把参数估计cˆ

cˆ1,cˆ2,...,cˆm

代入上式并比较式（0-0-3），便得到最小的x2值

x

2

min

N1

y

2i

i1i

fxi;cˆ

2

（0-0-6）

2

可以证明，xmin服从自由度v＝N-m的x2分布，由此可对拟合结果作x2检

验。

22

由x2分布得知，随机变量xmin的期望值为N-m。

如果由式（0-0-6）计算出xmin

接近N-m（例如

2

x

min

Nm），则认为拟合结果是可接受的；如果

2，则认为拟合结果与观测值有显著的矛盾。

在我们研究两个变量（x,y）之间的相互关系时，通常可以得到一系列成对的

数据（x1,y1、x2,y2...xm,ym）；将这些数据描绘在x-y直角坐标系中（如图1）,若发现这些点在一条直线附近，可以令这条直线方程如（式1-1）。

Y计=a0+a1X（式1-1）

其中：

a0、a1是任意实数

为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用（式1-1）计算值（Y计=a0+a1X）的离差（Yi-Y计）的平方和〔∑（Yi-Y计）2〕最小为“优化判据”。

令:

φ=∑（Yi-Y计）2（式1-2）

把（式1-1）代入（式1-2）中得:

φ=∑（Yi-a0-a1Xi）2（式1-3）

当∑（Yi-Y计）平方最小时，可用函数φ对a0、a1求偏导数，令这两个偏导数等于零。

（式1-4）

（式1-5）

亦即：

ma0+（∑Xi）a1=∑Yi（式1-6）

（∑Xi）a0+（∑Xi2）a1=∑（Xi,Yi）（式1-7）

得到的两个关于a0、a1为未知数的两个方程组，解这两个方程组得出：

a0=（∑Yi）/m-a1（∑Xi）/m（式1-8）

a1=[∑XiYi-（∑Xi∑Yi）/m]/[∑Xi2-（∑Xi）2/m）]（式1-9）

这时把a0、a1代入（式1-1）中,此时的（式1-1）就是我们回归的元线性方程即：

数学模型。

在回归过程中，回归的关联式是不可能全部通过每个回归数据点（x1,y1、x2,y2...xm,ym）,为了判断关联式的好坏,可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于1越好；“F”的绝对值越大越好；“S”越趋近

于0越好。

R=[∑XiYi-m（∑Xi/m）（∑Yi/m）]/SQR{[∑Xi2-m（∑Xi/m）2][∑Yi2-m（∑Yi/m）2]}（式1-10）

在（式1-1）中，m为样本容量，即实验次数；Xi、Yi分别任意一组实验X、Y的数值。

微积分应用课题一最小二乘法

从前面的学习中,我们知道最小二乘法可以用来处理一组数据,可以从一

组测定的数据中寻求变量之间的依赖关系,这种函数关系称为经验公式.本课题

将介绍最小二乘法的精确定义及如何寻求与之间近似成线性关系时的经验公式.假定实验测得变量之间的个数据,,…,,则在平面上,可以得到个点,这种图形称为“散点图”,从图中可以粗略看出这些点大致散落在某直线近旁,我们认为与之间近似为一线性函数,下面介绍求解步骤.

考虑函数,其中和是待定常数.如果在一直线上,可以认为变量之间的关系为.但一般说来,这些点不可能在同一直线上.记,它反映了用直线来描述,时,计算值与实际值产生的偏差.当然要求偏差越小越好,但由于可正可负,因此不能认为总偏差时,函数就很好地反映了变量之间的关系,因为此时每个偏差的绝对值可能很大.为了改进这一缺陷,就考虑用来代替.但是由于绝对值不易作解析运算,因此,进一步用来度量总偏差.因偏差的平方和最小可以保证每个偏差都不会很大.于是问题归结为确定中的常数和,使为最小.用这种方法确定系数,的方法称为最小二乘法.

在科学实验的统计方法研究中，往往要从一组实验数据

ii

x,y

i0,1,2,,m中，寻找自变量x与因变量y之间的函数关系yFx。

ii

由于观测数据往往不准确，因此不要求yFx经过所有点x,y，而只要求

在给定点

x上误差而只要求所在所有给定点

x上的误差

F（x）y

T

iiiii

i0,1,2,,m按某种标准最小。

若记

,,,

，就是要求向量的

012

m

范数最小。

如果用最大范数，计算上困难较大，通常采用欧式范数作为

2

误差度量的标准。

Fx的函数类型往往与实验的物理背景以及数据的实际分布有关，它一般含有某些待定参数。

如果Fx是所有待定参数的线性函数，那么相应的问题称为线性最小二乘问题，否则称为非线性最小二乘问题。

最小二乘法

还是实验数据参数估计的重要工具。

这是因为这种方法比其他方法更容易理解，

即使在其他方法失效的情况下，用最小二乘法还能提供解答，而且从统计学的观点分析，用该方法求得各项估计具有最优统计特征，因此这一方法也是系统识别的重要基础。

线性最小二乘问题可以借助多元微分学知识通过求解法方程组得到解答。

用最小二乘法求拟合曲线时，首先要确定Sx的形式。

这不单纯是数学问

ii

题，还与所研究问题的运动规律以及所得观测数据x,y有关；通常要从问题的

运动规律以及给定数据描图，确定Sx的形式，并通过实际计算选出较好的结

果。

为了使问题的提法更有一般性，通常把最小二乘法中的

都考虑为加权平

2

2

方和

m2

2

iii

xSxfx

2

i0

x

i

这里0是

a,b上的加权函数，它表示不同点

x,fx处的数据比重

ii

不同。

二、计算实例

从随机的数据中找出其规律性，给出其近似表达式的问题，在生产实践和科

学实验中大量存在，通常利用数据的最小二乘法求得拟合曲线。

在某冶炼过程中，根据统计数据的含碳量与时间关系，试求含碳量y与时间t的

t（

分）

0

55

5

10

15

20

25

30

35

40

45

50

y

10

4

0

4.02

1.27

4.64

2.16

2.86

3.44

3.87

4.15

4.37

4.51

4.58

拟合曲线。

1、掌握曲线拟合的最小二乘法；

2、最小二乘法亦可用于解超定线代数方程组；

3、探索拟合函数的选择与拟合精度间的关系

本题要求我们用

ta1t

at2

at3

对曲线进行拟合，这里

2

3

23

m11,t,

t,t,故

123

11

t

2

11i

i0

12650,

,

1221

11

t

i

3544500,

i0

11

t

4

22i

i0

24983750,

,

1331

11

t

i

424983750,

i0

,

3223

11

t

i

33

51193362500,

i0

11

t

6

i

58593218750

i0

11

ii

1

yty

1365.55,

11

yty

2

2ii

54350.75,

i0i0

11

3

ii

3

yty2379846.25

i

i0

n

由于k,j0

jaj

djk

0,1,,n,可以利用此式算出拟合曲线的a，即

,,

y

a

111213111

,,a,y

212223222

313

a

y

233333

a

1

所以求得

2.6610，a

5.2910，a

3.5210，

5

2

7

3

9

t2.66105t

5.2910