最小二乘法及其应用.docx
《最小二乘法及其应用.docx》由会员分享，可在线阅读，更多相关《最小二乘法及其应用.docx（13页珍藏版）》请在冰豆网上搜索。
最小二乘法及其应用
最小二乘法及其应用
1.
引言
最小二乘法在19世纪初发明后，很快得到欧洲一些国家的天文学家和测地学家的广泛关注。
据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。
同时，误差的分布是“正态”的，也立刻得到天文学家的关注及大量经验的支持。
如贝塞尔（F.W.Bessel,1784
—1846）对几百颗星球作了三组观测，并比较了按照正态规律在给定范围内的理论误差值和实际值，对比表明它们非常接近一致。
拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。
正态分布作为一种统计模型，在19世纪极为流行，一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。
在其影响下，最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大，应用及其广泛的统计模型。
到20世纪正态小样本理论充分发展后，高斯研究成果的影响更加显著。
最小二乘法不仅是19世纪最重要的统计方法，而且还可以称为数理统计学之灵魂。
相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。
正如美国统计学家斯蒂格勒（S.M.Stigler）所说，“最小二乘法之于数理统计学犹如微积分之于数学”。
最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。
2.最小二乘法
所谓最小二乘法就是：
选择参数b0,b1,使得全部观测的残差平方和最小
用数学公式表示为：
2八22
minu—（Yi-Y）2一'（Yj-b0-b^）2
为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为
例.
由于总体回归方程不能进行参数估计，我们只能对样本回归函数来估计即:
Y二bob）Xiei（i二1,2...n）
从上面的公式可以看出：
残差ei是Yi的真实值与估计值之差，估计总体
回归函数最优方法是，选择Bo,Bi的估计量bo,bi，使得残差ei尽可能的小.总之，最小二乘原理就是选择样本回归函数使得所有丫的估计值与真实
值差的平方和为最小，这种确定bo,bi的方法叫做最小二乘法。
最小二乘法是回归分析中的最基本的方法。
回归方程一般分为2类，线性回归方程和非线性回归方程。
2.1线性回归最小二乘法
最小二乘法是由实验或调查的数据，建立线性型公式的一种常用方法.
在建立线性型公式中，虽然有很多种不同的方法来求样本回归函数（即真实总体回归函数的估计值），但是在回归分析中最广泛应用的方法是最小二乘法.
如果变量x和y有精确的线性关系比如说y=ax•b,那么yi二yi即观测值与回归值是相等的.事实上现实世界中的诸多变量的关系未必都是如此，由于受诸多随机因数的干扰使得物与物之间没有那种很明确的对应关系.比
如说人的身高和体重就是一个对应，我们都知道长的高的人不一定就重，同理长的矮的人也不一定就轻.但身高和体重的确存在着一定的关系，而这种关系并非是y=axb所能确定的.那么我们要寻求身高和体重之间的关系
就需要通过数学的方法.首先调查统计得出数据；其次把数据描绘出来；然后拟合一条跟已有的图象最接近的曲线，这样就可以相对地将身高和体重之间的关系表示出来.在处理类似的事情中常常用到最小二乘法.
2.2非线性回归最小二乘法
非线性回归的种类很多，常用的有抛物线方程（Y=a・bXcX2）、指
数方程（Y=abx）等。
设已知列表函数yi=f（xj（i=0,1，…,m），并且我们想用一个通常的
n（：
：
：
m）次多项式
PnX二aoyx...anXn
（1）
去近似它。
问题是应该如何选择a0，印，…，an使pnx能较好地近似列表函
数fx。
按最小二乘法，应该选择ao，ai,...,an使得
m2
（2）
Sa。
，ai,...,an八fX-pnx
i=0
取最小。
注意到S是非负的，且是ao,ai，...，an的2次多项式，它必有最小值。
求S对ao,ai,...,an的偏导数，并令其等于零，得到
m
■-〔％-a。
-a/i-...-anxjxj=0（k=0,1,...,n）
i£
进一步，可以将它们写成
mmmm
二/Xi1"二a0二xik-ar^x^k1...an二x^kn（k=0,1,n.
=o
引进记号
i=o
i=0i=0
mm
Sk=送Xik和Uk=送yiXik
inin
则上述方程组为
rs）a0+sa打lt+Snan=u,°
s^o+sa卄lt+Sn+an1=u,1川Illi川Mil川lllllil川I胛0+SnW旷川+Snan=Un
⑶
它的系数行列式是
S）
3
III
Sn
Xn舟=
S2
III
Snd1
*
■*
K
H
F
Sn
S1■+
III
S2n
由s（i=0,1川,2n）的定义及行列式性质，
可以断言
12
Xn十一-Z川，n））.⑷
（n+1）!
此处符号W表Vandermonde亍列式，而是对所有可能的i（\=0,1^|,n）求
和（每个i可以取值Xo,X|,|1（,Xm,并且当\~j时i=j。
由（4）式及
Vandermonde行列式的性质可知，当x0,xjl|,xm互异时，
1
1
IH
1
t
」0
一
1
IH
t
n
m-0^1JlUn戶
巴2-0
芒2
一1
IH
巴2
^n
式0.
+
巴n-0
巴n
一1
IH
F
巴n^n
从而，Xn十H0（a0）方程组⑶有唯
解
a,a1
，川,
an,且它们使⑵取极
小值如此，我们应用最小二乘法找到了fx的近似多项式pnx.
在利用最小二乘法组成和式⑵时，所有点X\都起到了同样的作用，但是有时依据某种理由认为中的某些项的作用大些，而另外一些作用小些（例如，一些y\是由精度较高的仪器或操作上比较熟练的人员获得的，自然
应该予以较大的信任），这在数学上表现为用和
m2
：
ifx\-PnX\（5）
i二0
n
替代和⑵取最小值•q.0，且-；^1,^i通常称之为权；而⑸为加权和.
i£
用多项式Pnx\^a0a1xanxn去近似一个给定的列表函数（即给出
的一组观测值％=fXi时。
需要确定的参数是ao,ai,|）（,an；而Pnx可以看成是ao,aiJ||,an的线性函数•但是有时在利用观测或实验数据去确定一个经验公式时，往往要确定的函数和待定参数之间不具有线性形式的关系.这样
问题就变得有些复杂•然而，常常可以通过变量替换使其线性化•
最小二乘法原理是用来求解线性方程组的，非线性方程经线性化后方可应用该原理.通常在测量中遇到的问题不一定都是线性问题，必须先把非线性问题线性化，然后求解•例如：
（i）有时，我们希望用如下类型的函数：
s=ptq（6）
去近似一个由一组观测数据（列表）所描绘的函数，其中P和q是待定的两个参数.显然s已非p和q的线性函数.怎样线性化呢？
为此，我们在⑹式两端取对数，得到
Ins二Inpqlnt
记Ins二y,Inp二a。
ai二q,x=Int,贝U（6）式变成
y=a。
aix.
这是一个一次多项式，它的系数ao和ai可以用最小二乘法求得.
（ii）我们经常希望用函数
S=AeCt（7）
去近似一个以给定的列表函数，其中A、C是待定的参数.这时，我们可以（7）的两端取对数：
InS二InACt
记InS二y,InA二a0Q=印，x=t，则（1.7）式变成
y二aoaix
这样仍可用最小二乘法定出a。
®（从而也就定出了A,C），得到近似函数
S=AeCt
下面列出几种常用的线性处理方法，利用最小二乘法的原理对直线型、抛物线型和指数曲线型的方程的参数估计方法，介绍如下：
（1）直线型
直线方程的一般形式为
Y=abX
令（Y-C）2八（aFX-C）2为最小值，分别为a和b求偏导数，并
令导数等于0,得到联立方程组。
解方程组，即可得到参数的计算公式。
"a=Y_bX
/n送XY—送X送丫
b=22
.n瓦X2-（瓦X）2
（2）抛物线型
抛物线方程的一般形式为
2
Y=abXcX2
令（^-C）^\（abX-C）2为最小值，分别为a、b、c求偏导数,
Y-na-b.[X-c_X?
=0'YX2_a'X_b'X2_c'x3=0ZYX2_a送X2_bZX3_c瓦x4=0
（3）指数曲线型指数曲线的一般形式为
Y=abX
取对数，将指数曲线转化成对数直线形式
lgY=lgaXlgb
用最小二乘法估计参数a,b,可有如下方程组
'lgY二nlgalgb'X
］二（XIgY）=lga'XlgbX2
解此方程组，可得参数的对数值，查其反对数，即可得参数值。
3.最小二乘法原理的应用
3.1最小二乘法原理在线性回归中应用
例1.已知2009年3月到2010年4月居民收入与物价信心的满意指数如下图，求出当期物价满意指数x与时间t的曲线拟合。
T
1
2
3
4
5
6
X
29.50
28.20
25.90
21.70
21.90
13.80
解：
t=[123456];
x=[29.5028.2025.9021.7021.9013.80];
plot（t,x,'o'）;
polyfit（t,x,1）ans=
-2.902933.6600
则所得到的近似方程为
y=-2.9029+33.6600x.
3.2最小二乘法原理在非线性回归中的应用
例2设已知函数f（x）的表列值为
X
0.2
0.5
0.7
0.85
1
Y
1.221
1.649
2.014
2.340
2.718
试按最小二乘法构造f（x）的二次近似多项式.解：
下面用Matlab程序来求参数a。
®和a2.程序如下：
x=[0.20.50.70.851];
y=[1.2211.6492.0142.3402.718];
plot（x,y,'o'）;
2.8
2.6
2.4
2.2
2
1.8
1.6
1.4
1.2
0.20.30.40.50.60.70.80.91
polyfit（x,y,2）
ans=
0.92480.75531.0346
即所求30=0.9248,a1=0.7553,32=1.0346.
所求的近似多项式为
f（x）=0.92480.7553X1.0346x2.
例3、在某冶炼过程中，根据统计数据的含碳量与时间关系，试求含碳
量y与时间t的拟合曲线
t
0
5
10
15
20
25
30
35
40
45
50
55
y
0
1.27
2.16
2.86
3.44
3.87
4.15
4.37
4.51
4.58
4.02
4.64
解：
实验程序如下：
t=[0510152025303540455055];
y=[01.272.162.863.443.874.154.374.51
4.584.024.64];
plot（t,y,'o'）;
5厂
4.5-
4-
3.5-
3-
2.5-
2-
1.5-
1-
0.5-
0L
01020304050
p=polyfit（t,y,2）
P=
-0.00240.20370.2305
综上，y与t的拟合曲线是
y=-0.0024+0.2037t+0.0.2305t2。
例2设已知如下一组实验数据：
t=2.22.73.54.1
S=65605350
试求一个S二AeCt型的函数去近似它.
60
解：
计算以紧凑的形式表示如下:
X。
x=Int
x2
y=Ins
xy
1
0.3424
0.1172
1.8129
0.6207
1
0.4314
0.1861
1.7782
0.7671
1
0.5441
0.2960
1.7243
0.9382
1
0.6128
0.3755
1.6990
1.0411
4
1.9307
0.9748
7.0144
3.3671
S0
S
S2
Uo
U1
由此得方程组
4a01.9307a,=7.0144,
1.9307a0.9748a,=3.3671.
解之得a0=Inp=1.963,p=91.9,q=a^i--0.434从而
0.434
S=91.9t
4.小结
应用最小二乘法的几个问题：
最小二乘法虽然在数据处理方面具有显著的效果，但如果使用不当会导致很大的误差，甚至错误的结果。
因此，在应用时必须注意以下几个问题：
（1）慎重选择拟合关系式。
在实际问题中，适当选择拟合关系式是一项十分谨慎的工作，它将直接影响计算的工作量和结论。
（2）自变量的选择。
在实际工作中，对一组实验x1,y1数据按不同的拟合形式,结果会不一样。
特别注意当两个变量都有一定误差时，应当使用双变量最小二乘法进行处理，否则可以使用单变量最小二乘法。
（3）加权最小二乘法。
此法是应用于实验测量值Y1非等精度的情况下
的拟合方法。
它不同程度的消除误差因素，结果更准确可靠。
设拟合函数为y=f（x）,当x值取xi时y的实测值为取“％-f（x,卜mm2
加权偏差平方和s=vwiy「fxi,式中wi为第i个实验点的权
i4i=J
重因子。
选取合适的权重因子Wi可获得高精度的拟合参数。
（4）最小二乘原理在很多领域有着广泛应用，利用MATLAB解非常方便，但一定要组要问题的类型，尤其是数据大且复杂时，来更好的突出Matlab计算出线性参数的最佳估计值，提高了效率和精度。
（5）非线性参数的最小二乘法处理程序可归结为：
首先根据具体问题将非线性问题线性化，列出误差方程；再按最小二乘法原理，利用求极值的方法将误差方程转化为正规方程；然后求解正规方程，得到待求的估计量；最
后给出精度估计。
上面例题利用程序求解组合测量问题，用Matlab进行曲线
的拟合。
致谢：
长江之滨，青山湖畔，是我美丽的校园。
转眼间，我已经在美丽的湖师度过了四个年头。
四年，这是我人生中非常重要的四年，我有幸能够接触到这些不仅传授我知识、学问，而且从更高层次指导我的人生与价值追求的良师。
他们使我坚定了人生的方向，获得了追求的动力，留下了大学生活的美好回忆。
在此，我真诚地向我尊敬的老师们和母校表达我深深的谢意！
这篇论文是在我的导师胡宏昌教授的多次指导下完成的。
从论文的选题
到结构安排，从内容到文字润饰，都凝聚了他大量的心血。
在这篇论文的写作过程中，胡老师不辞辛劳，不惜在百忙的工作学习中抽出时间多次与我就论文中许多核心问题作深入细致地探讨，给我提出切实可行的指导性建议，无论是论文的整体机构，还是论文的文字、排版还是一个标点符号，胡老师都是认真的帮我查看并细心全面地帮我修改。
更重要的是胡老师在指导我的论文的过程中，不顾自己由于长时间在电脑前工作的颈椎的疼痛还依然在我每次过去找他帮我修改论文时，细心的在电脑前为我指出排版的错误，甚至一个标点符号。
胡老师这种一丝不苟的负责精神，使我深受感动。
在此，请允许我向尊敬的胡宏昌老师表示真挚的谢意！
升级会员 