最小二乘法的原理及在建模中的应用分析.docx

最小二乘法的原理及在建模中的应用分析.docx

《最小二乘法的原理及在建模中的应用分析.docx》由会员分享，可在线阅读，更多相关《最小二乘法的原理及在建模中的应用分析.docx（38页珍藏版）》请在冰豆网上搜索。

最小二乘法的原理及在建模中的应用分析

最小二乘法的原理及在建模中的应用分析

学校代码:

1951

本科毕业论文（

题目：

最小二乘法的原理及在建模中的应用分析学生姓名：

学

院:

系

别:

专

业:

班

级：

指导教师：

副教授

二0一。

年六月

摘要

最小二乘法是一种最基本、最重要的计算技巧与方法•它在建模中有着广泛的应用,用这一理论解决讨论问题具有简明、清晰的特点，特别在大量数据分析的研究中具有十分重要的作用和地位•随着最小二乘法理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题・

本文共分三部分•绪论主要介绍最小二乘法的起源、基本概念以及本文的主要工

作；第一章阐述了最佳平方逼近和曲线拟合的算法，并做出二者的流程图，接着对曲线拟合的线性和非线性模型给出求解方法，最后总结出常用的模型函数以及线性化方法第二章首先通过解决实际算例，阐述如何克服病态方程，然后通过预测研究生招生人数，阐明它在建模中的作用，并作简单的分析，最后做出了总结•

尖键词：

最小二乘法；最佳平方逼近；曲线拟合；病态方程；Matlab

Abstract

Least-squaremethodisoneofthemostfundamentalandmostimportantcalculationmethodsandskillsinmodeling.Itiswidelyusedinsolvingthistheory,discusstheproblemwithconcise,clearcharacteristics,especiallyintheresearchofdataanalysisplaysaveryimportantroleandstatus.Withtheleastsquaretheoryconstantly,perfectthebasictheoryandapplicationhasbecomeaseriousresearchtopic.

Thepaperhasthreepartsaremainlyintroduced.Introductiontotheoriginofleastsquares,basicconceptsandthemainjob,Thefirstchapterdescribesbestsquareapproximationandthecurvefitting,thealgorithmandtheflowchart,thenbothofthecurvefittingislinearandnonlinearmodelofsolvingmethod,andfinallysummarizescommonmodelfunctionandlinearizationmethod,Thesecondchapterfirstthroughsolvingpracticalexamples,thispaperdiscusseshowtoovercomethepathologicalequation,andthenthroughthepredictionofgraduatestudentrecruitstudentsnumber,expoundsitsroleinmodelingandsimpleanalysis,finallymadeasummary.

Keywords:

Least-squaremethod;Thebestsquareapproximation;

Thecurvefitting;Psychopathicequation;Matlab

绪论1

第一章最小二乘法概述3

1.1预备知识3

1・2最佳平方逼近问题4

1・3曲线拟合问题6

1・4曲线拟合的模型分类8

1.4.1线性模型8

1.4.2非线性模型11

1・5总结13

第二章最小二乘法在建模中的应用16

2.1应用举例16

2・2病态方程18

2.3建模分析20

2.4总结25

参考文献26

附录A最佳平方逼近流程图27

附录B曲线拟合流程图29

附录C部分Matlab程序31

谢辞36

绪论

在科学研究中，为了揭示某些相尖量之间的尖系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等・

其中，最小二乘法是一种最基本、最重要的计算技巧与方法•它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位•随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题・

1•最小二乘法的起源与基本概念

1805年勒让德（Legendre）发表的论著《计算彗星轨道的新方法》附录中，最早提到最小二乘法丄egendre之所以能做出这个发现，是因为他没有因袭前人的方法一要设法构造出k个方程去求解，他认识到尖键不在于使某一方程严格符合，而在于要使误差以一种平衡的方式分配到各个方程，具体地说,他寻求这样的值，使得n

2

（Xi0Xi11Xikk）达到最小.

i1

1809年，高斯（Gauss）发表论著《天体运动理论》，对其误差进行了研究,再该书末尾，他写了一节有尖“数据结合"的问题，以及其简单的手法导出误差分布■正态分布,并用最小二乘法加以验证.

尖于最小二乘法，Gauss宣称自1795年以来他一直使用这个原理•这立刻引起了Legendre的强烈反击，他提醒说科学发现的优先权只能以出版物确定,并严斥Gauss剽窃了他人的发明•他们间的争执延续了多年•因而，这俩位数学家之间尖于优先权的争论仅次于牛顿（Newton）和莱布尼兹（Leibniz）之间尖于微积分发明的争论•现在一般认为，二人各自独立的发明了最小二乘法•尽管早在10年前,Gauss就使用这个原理，但第一个用文字形式发表的是Legendre.

最小二乘法在19世纪初发明后，很快得到欧洲一些国家的天文学家和测地学家的广泛尖注•同时，误差的分布是“正态”的，也立刻得到天文学家的尖注•正态分布作为一种统计模型，在19世纪极为流行，一些学者甚至把19世纪的数理统计学称为正态分布的统治时代・

综上可知丄egendre和Gauss发现最小二乘法是从不同的角度人手的：

一个是为解线性方程组，一个是寻找误差函数；一个用的是整体思维，考虑方程组的均衡性，一个用的是逆向思维，首先接受经验事实，一个是纯代数方法，一个致力于应用•相比而言，高斯不愧为数学王子，他把最小二乘法推进得更远、更深刻，这极大地推进了数理统计学的发展•发展至今，其已在各个方面有了应用•其基本原理如下・

基本原理:

在自然科学和工程实践中，经常会遇到寻求经验公式问题•由实验或观测得到一组数据（X,yj（i1,2丄m）,而各Xi是不同的，且设yf（xj,通过这些数据，我们求一曲线y&（x）,在函数空间span{i.i1,,n}中寻找一个逼近函数

yf（x）由于观测有误差，因此iSn（Xi）f（X0并不为零•但要求

mm

i2[Sn（Xi）f（Xi）]2min

i1i1

这就是曲线拟合的最小二乘问题.

2选题背景与本文的主要工作

在科学研究中，为了揭示某些相尖量之间的尖系，找出其规律，往往需要求解其函

数解析式•一种方法是采用插值逼近法，即所构造的近似函数（X）在已知节点Xi上必须满足（Xi）yi要求逼近函数（Xi）与被逼近函数f（x）在各已知点Xi处的误差为零，即要求（X）的曲线必须通过所有的点，常用的插值法有拉格朗日（Lagrange）插值，牛顿（Newton）插值，埃尔米特（Hermite）插值等.

另一方面，由于观测数据较多，一般不用插值法，而是用拟合的方法•即只要找到一条曲线，即能反映给定数据的一般趋势，又不出现局部较大的波动即可，只要（X）与f（X）的偏差满足某种要求就行了•这种数据间的非确定矣系需要统计方法来描述，最常用的方法就是数据拟合•数据拟合就是找一种函数的解析表达式或近似表达式来描述这组数据间的函数尖系，通常用到最小二乘法•数据拟合的最小二乘法通过最小化误差的平方和，寻找数据的最佳函数•利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小

本文就是在这样的背景下，第一章主要介绍了最小二乘法的原理，对最佳平方逼近和曲线拟合给出求解方法，总结了非线性模型下最小二乘法的求法•第二章主要讲述其在实际中的应用，以及如何克服法方程病态的方法•最后通过实例阐述其在建模

中的作用.

第一章最小二乘法概述

最小二乘法通过最小化误差的平方和来寻找数据的最佳函数匹配•利用最小二

乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小.

在下面的章节中我们主要分析最小二乘法的原理，分别对最佳平方逼近和曲线

拟合做了简单概述，重点对曲线拟合的非线性模型给出总结.

1.1预备知识

定义设在区间（a,b）±非负函数（x）,满足条件:

b

（f，g）=（x）g（x）f（x）dx

a

称为函数f（x）与g（x）在［a,b］上的内积.

定义1.3内积若满足下列四条公理:

1）（f,g）©f）

2）（cf,g）c（f,g）,c为常数

3）（fif2,g）（fi,g）（f2,g）

4）（f,f）0,当且仅当fO时（f,f）0

则连续函数空间c［a,b］上就形成一个内积空间•若f（f丄fn）T,g（g丄gjT则其

n

内积定义为（f,g）fg

k1

定义1.4设AFT为非奇异矩阵，称

（Cond（A）?

1）Cond（A）v|AuiAjv

为矩阵的条件数，其中人为Rnn中的某种矩阵范数•则对方程组Axb

⑴如果条件数Cond（A）v很大（Cond（A）?

1）,则称为病态方程组（或A为病态）.

（2）当Cond（A）v相对较小时，称为良态方程组（或A是良态的）.定义1・5设在［a,b］给定函数系｛0,丄，訂，若满足条件

m0,ik

（「）.（x）j（x）M）阿k

则称函数系｛k｝是：

a,b］上带权为（x）的正交函数系.

n

定义1・6对于给定的函数f（x）C［a,b］，若n次多项式s（x）满足尖系

jo

bf（x）s（x）dxminf（x）s（x）dx（1-1）as（x）爲

其中5为所有不超过n次的多项式，则称s（x）为f（x）在区间［a,b］上的n次最佳平方逼近多项式.

定义1・7对于给定函数f（x）C［a,b］，如果存在s（x）span｛i,i1,,n｝使

bb

（x）［f（x）s（x）］2dxmin（x）［f（x）s（x）］2dx（1-2）

aS（x）a

则称S（X）是f（x）在空间中的最佳平方逼近函数

1.2最佳平方逼近问题

最佳平方逼近问题就是对于给定的一个函数，用另一个函数去逼近它•如图1.1所示

原函数

逼近函数

图1.1最佳平方逼近图

由公式（1-1）和公式（1要求在给定的函数类中

span{i,i

1,,m}

中找到一个函数

*

S（x）aooai1Lan

n

akk（x）

0

（nm）

使S・（x）满足

（x）[f（x）S（x）l2dxmin

S（x）

（x）[f（x）

S（x）]2dx

函数类一般可取比较低次的多项式集合或其他较简单的函数类

•其中，（x）（0）是

[a,b]上给定的权函数，它表示不同的点地位的强弱，它的地位越重要，从而权（x）也越大•其求解步骤概括如下：

Stepl做出函数f（x）图形并寻找规律

Step2设定数学模型，给出函数空间span{d1,,n}

Step3利用最佳平方逼近原理求出S（x）,满足

*2.

（x）[f（x）S（x）]dxmin

S（x）表示为

S*（x）akk（x）

kO

（X）是权函数，具体S（x）的求出，相当于求解法方程

（°,°）

（叮）

L

（J）

a°

（f,。

）

（1,。

）

（1,1）

L

（1,n）

a1

（f,1）

M

M

L

M

M

M

（n,。

）

（叮）

L

（n,n）

a"

（f,n）

Step4求出误差

（x）[f（X）

*2

S（x）]dx

Step5分析并找出模型的优缺点

，求误差，若误差大，

则应重新建立函数空间，最

佳平方逼近流程图见附录A.

1・3曲线拟合问题

曲线拟合就是对于给眾的一组数据（0yi）（i1,2丄,m）,如图1.2所示.

要求在给定的函数类中

span{i.i1,

，n}

找到一个函数

使S（x）满足

S（x）aooai1Lann

n

akk（x）（n

kO

m

m

汶卑

2

•

1

i1

[s（Xi）f（Xi）]2

[S（Xi）f%）]

i1

S（x）aooai1L

Hnn

这种求逼近S（x）的方法就称为曲线拟合的最小二乘法•函数类一般可取比较

低次的多项式集合或其它较简单的函数类

实用中，为了使问题提法更具有一般性，常对最小二乘法中i2加权平方，即

i1

m2

（Xi）[S（Xi）f（Xi）]2

其中,（x）（0）是[a,b]上给定的权函数，它表示不同的点（Xi,y）地位的强弱,例如点（xw）处的权（刃）可以用来表示数据（xiy）在实验中重复的次数，也可以用来表示数/的准确度，w越准确，它的地位越重要，从而权（幼也越大•满足尖系式

mmm

2*22

i2（Xi）[S*（Xi）f（Xi）]2sm（xi）n（刈[S（x»f（Xi）]2

:

1:

1S（x）;q

称为上述最小二乘问题的最小二乘解•概括如下：

Stepl将数据点描在坐标纸上寻找规律

Step2设定数学模型，给出函数空间span{d1,,n}

Step3利用最小二乘法求的S（x）,其中，S（x）满足

（xO[yiS*（x）]2

m

・・2

min（x'）[y'S（x'）l

i1

S（x）可表达为

n

S（x）aii（x）

i1

S*x）表为

S*（x）ai（x）

i1

（X）是权函数

具体S（x）的求出，相当于求解法方程

S11S12

S21S22

S2na2d2

Step4求出误差（屮丄"的大小，即丨丨if：

i1

Step5分析并找模型的优缺点，求误差，若误差大，则应重新设立模型，曲线拟合最小二乘法流程图见附录B.

1-4曲线拟合的模型分类

实际应用中，由于观测数据较多，最常用的方法就是曲线拟合•曲线拟合即只要找到一条曲线，即能反映给定数据的一般趋势，又不出现局部较大的波动即可，只要拟合函数与原函数的偏差满足某种要求就行了•对于误差，很大程度依赖于模型的选取,本节重点介绍了选取不同模型的方法・

1.4.1线性模型

已知观测点如图，需要拟合线性函数，如图1・3所示.

Y=aX+b

0XI刃対冶

图1.3线性拟合图

设直线方程的表达式为

yabx

要根据所测量的已知数据求出最佳的a和b•对满足线性尖系的一组测量数据（x>,yi）,假定自变量Xi的误差可以忽略，则在同一为下，点/和直线上的点abxi的偏差di如下所示

diyiabxi

chy2abx2

M

dnynabXn

显然大多时候测量点不可能都在直线上

，一般令di2d22

d,为最小值，即

di2

1

abxi]2

D对a和b分别求一阶偏导数为

na

n

bXi]

i1

再求二阶偏导数为

显然

2[门

Kyi

勺

a2

b2

2n

2

Xi

2

Xi

孑

2D

2n

b2

满足最小值条件，令一阶偏导数为零：

na

n

Xi

i1

n

bX20

i1

引入平均值

1n

—Xini1

1n

nn

2

Xi

i1

xy

Kyi

i1

则有

yabx0

Xyaxbx0

解得

aybx

hxyxy⑴®

u开”2_2

XX

将a,b值带入线性方程yabx,即得到线性方程.

为了加深对最小二乘拟合原理的理解，现举出如下例子，通过举例使大家对最小二

乘拟合有所掌握.

例已知一组实验数据如表仁1所示，求它的拟合曲线.

表数据表

■

I

1

2

3

4

5

Xi

2

4

5

8

9

y-

2.01

2.98

3.50

5.02

5.47

首先把这些数据画出来如下图1-4所示.

图1-4散点图

发现这些点在一条直线附近，故可选则线性函数作拟合曲线•即令P（x）abx作数学模

型.

其次，

由已知有m5,求得

555

m5,Xi28,x190,yi

i1i1i1

5

18.98,Xiy122,8

i1J

于是法方程为

此方程组得

5a28b18.9828a190b122.83由公式（1-3）得，并解

a1.00578

b0.498253

故所得的拟合函数为

y1.005780.498253x

1-4.2非线性模型

在许多实际问题中，变量之间的尖系并不都是线性的，也就是说变量之间存在非线性尖系，此时就需要建立非线性模型才能对实际问题给岀合理的解释•对于非线性模型一般有两种处理方法：

一种是进行一些变换，将非线性问题化成线性问题来求解另一种是不能化成线性问题，而是直接使用非线性模型•比如模型

X

yoie

这是一个非线性模型，但令％ex即可化为y对％的线性模型

y01x%

同样，对于多项式模型

%yoix

有些非线性模型是不能化成线性模型的，比如模型

bx

yae当b未知时，我们就不能通过对两边取对数化成线性模型，只能采取非线性最小二乘法求解•非线性模型一般可记为

yif（Xi,）,i1,2,L,n

式中,y是因变量；Xi（Xi,Xi2丄,Xik）T是自变量；（o,丄，P）T为未知参数向

量；i：

N（0,2）,i1,2丄，n,且互相独立.

仍采用最小二乘法估计参数，即求使

n

Q（）Wf（xj,））2

i1

达到最小的$，称为的非线性最小二乘估计•若函数f对参数连续可微时，可以利用微分法,建立正规方程组，求解使Q（）达到最小的$•将Q（）函数分别对参数j求偏导，并令其为0,得P+1个方程

|j?

j2（yif（Xi>$r°|j?

j0,0,1,L.p

i1

非线性最小二乘估计$就是上时的解.

例1.2设一发射源的发射强度公式为

at

I与t的数据如表

表1-2发射源数据表

ti

0.2

0.3

0.4

0.5

0.6

0.7

0.8

li

3.16

2.38

1.75

1.34

1.00

0.74

0.56

试用最小二乘法确定1o与ao.

由公式（1・4）和⑴5）洗求数据表如表所示.

表1・3ti与Inh的数据表

ti

0.2

0.3

0.4

0.5

0.6

0.7

0.8

InIi

1.1506

0.8671

0.5596

0.2927

0.0000

-0.301

-0.5798

由最小二乘拟合原理，得

7ao3.5A1.9891

3.5ao2.03ai0.1858

则其解为

ao1.73

^2.89

图1.5发射源指数拟合图

1-5总结

综上所述，最小二乘法就是以最小二乘原理为依据，同时解出一组未知参量的最佳值,最后确定函数解析式的方法•同时，它所做出的曲线拟合能够清晰地表现出变量间的函数尖系，还能通过数据点与曲线的偏离程度大致估计观测误差•特别适用于通过实验求解未知形式的函数尖系式或者用简单的解析式近似复杂的表达式，是

科

学实验中对数据处理的一种重要方法•其中最小二乘法最重要的一步就是由所给出的数据,建立模型函数，根据经验，有以下图作参考，如图1・6到图1・13所示（k0）.

matlab最终得到比较理想的拟合函数.

，例如，对函数

当然，有些时候也可以先把拟合的模型化为比较好处理的函数

yInx,可以令XInx,Yy,只要拟合X和丫的函数，再把x和y回代即可,以下给出常用函数与

YAXB之间的变换，如表1-4所示.

表1-4线性化变化

函数yf（x）

线性化形式丫aXb

变量与常数变换

a

y—b

X

1ya—b

X

1

X-,Yyx

dy

Xc

1d

y—xy—cc

Xxy,Yy

1.da—,b一cc

iy-axb

1.axby

1

Xx,Yy

X-y——axb

11・

<7—byx

11

X—,Y—xy

ab,ba

yalnxb

yalnxb

Xlnx,Yy

ax

yce

InyaxInc

Xx,YInybInc

a

yex

InyalnxInc

XInx,YInybInc

2

yaxb

1

y2axb

1

Xx,Yy2

dx

ycxe

In—dxIncx

Xx,Y2xblnc,ad

1

丫彳ax

1ce

In_L1axIncy

Xx,Yln丄1ybInc,l为给疋常数

在实际中，由于数据的不确定性与不稳定性，因为给出的函数过于简单往往并不

能真实反映实际问题，而过于复杂，又很难处理•总之，对不同的实际问题，应灵活建

立数学模型，结合计算机软件，准确的拟合出模型函数

第二章最小二乘法在建模中的应用

随着科学技术的发展，实验数据处理越来越方便•但也提出了新的课题,就是在选择数据处理方法时应该比以往更为慎重•因为稍有不慎，就会根据正确的实验数据得出不确切的乃至错误的结论•因此本章将结合实例让大家更深一步体会最小二乘法在建模中的应用•

2.1应用举