线性回归模型参数估计浅谈_精品文档.doc
《线性回归模型参数估计浅谈_精品文档.doc》由会员分享，可在线阅读，更多相关《线性回归模型参数估计浅谈_精品文档.doc（24页珍藏版）》请在冰豆网上搜索。
中图分类号：
O151.2
本科生毕业论文
（申请学士学位）
论文题目线性回归模型参数估计浅谈
作者姓名
所学专业名称数学与应用数学
指导教师
2011年6月04日
学号：
论文答辩日期：
2011年6月04日
指导教师：
（签字）
滁州学院本科毕业论文（设计）原创性声明
本人郑重声明：
所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。
除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。
本人完全意识到本声明的法律后果由本人承担。
作者签名：
年月日
目录
摘要：
. 1
Abstract. 1
1．绪论 2
1.1背景 2
2．最小二乘法的简单原理及应用 3
2.1问题的引入 3
2.2最小二乘法原理的证明 4
2.2.1最小二乘法原理的初等证明 4
2.2.2利用欧氏空间证明最小二乘法 5
2.3最小二乘法简单运用举例 6
2.3.1用最小二乘法求中学数学中《直线型经验公式》的最佳近似解 7
2.3.2实验数据的最小二乘法拟合 7
3．一般线性回归模型的参数估计 8
3.1一般线性回归模型与最小二乘估计 9
3.2模拟分析 11
3.3 修正的最小二乘估计 11
总结 15
参考文献 16
致谢 17
线性回归模型参数估计浅谈
摘要：
最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识,，并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。
然而，最小二乘法因其抽象、难懂常常被大家所忽视。
传统的最小二乘估计在处理一般线性回归模型的参数和的估计问题时,若遇到异常数据模型拟和得往往不好,现给出这个估计方法的修正:
修正的最小二乘估计.结果表明此方法在处理异常数据时具有明显的优越性.
关键词：
线性回归模型；参数估计；最小二乘估计；修正的最小二乘估计
中图分类号：
O151.2
LinearRegressionModelParameterEstimationShowing
Abstract:
LeastsquaresfittingAngleisfromerrorestimatesparametersoftheregressionmodel,systemidentification,intheparameterestimation,systemidentificationandvarietyoffieldsandforecastinggetextremelyextensiveapplication.However,theleastsquaresbecauseitsabstractandobscureoftenignoredbyeverybody.Thetraditionalleastsquaresestimateindealingwithgenerallinearregressionmodelparametersandwhentheestimationproblem,ifencounterabnormaldatamodelfittingandoftenbad,herepresentedanothermethodofestimating:
fixedtheleast-squareestimation.Theresultsshowthatthismethodindealingwithabnormaldatahasobvioussuperioritywhen.
Keywords:
Linearregressionmodel:
Parameterestimate;Leastsquaresestimate;Fixedtheleast-squareestimation
2
1绪论
回归分析是一种传统的应用性较强的科学方法，是现代应用统计学的一个重要的分支，在各个科学领域都得到了广泛的应用。
它不仅能够把隐藏在大规模原始数据群体中的重要信息提炼出来，而且能把握住数据群体的主要特征，从而得到变量间相关关系的数学表达式，利用概率统计知识对此关系进行分析，以判别其有效性，还可以利用关系式，由一个或多个变量值去预测和控制另一个因变量的取值，从而知道这种预测和控制达到的程度，并进行因素分析。
1.1背景
线性回归是利用数理统计中的回归分析，来确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法之一，运用十分广泛。
在实际问题中我们常常会遇到多个变量同处于一个过程之中，它们相互联系、相互制约。
在有的变量间有完全确定的函数关系，比如圆面积与半径之间存在关系式。
另外还有一些变量，它们之间也有一定的关系，然而这种关系并不完全确定，比如正常人的血压与年龄有一定的关系，一般讲年龄大的人血压相对高一些，但是它们之间就不能用一个确定的函数关系式表达出来。
回归分析就是寻找这类不完全确定变量间的数学关系式并进行统计推断的一种方法。
无论是国内还是国外对与线性回归的研究都是与日俱增，无论是对与一元线性回归还是多元线性回归的问题，国内外都对其做出了各种不同的参数估计。
GilesJA,GilesDEA,Ohtani,K在1996年发布了确切的风险和线性回归的一些前测问卷发放平衡损失[5]，国内对与线性回归的参考文献也很多，王虹（2000）分析了线性回归主成份在教学评估中的应用[3]，张红兵和张晓青（2004）发表了PVC异型材工艺参数的主成份分析法[4]，王松桂、史建江、尹素菊等（2004）线性模型引论也介绍了线性回归模型中的参数估计[7]。
本文主要研究如何从现实问题中构造适当的的线性回归模型得出回归方程，最小二乘估计简单原理和应用，修正的最小二乘法估计解决一般线性回归模型参数估计，显著性检验的正确性，模拟的清晰化。
2最小二乘法的简单原理及应用
最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识，并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。
然而，最小二乘法因其抽象、难懂常常被大家所忽视。
最小二乘法作为一种传统的参数估计方法，早已经被大家所了解。
然而许多人对最小二乘法的认识都比较模糊，仅仅把最小二乘法理解为简单的线性参数估计。
事实上，最小二乘法在参数估计、系统辨识以及预测、预报等众多领域都有着广泛的应用。
2.1问题的引入
已知某种材料在生产过程中的废品率与某种化学成分有关。
下列表中记载了某工厂生产中与相应的的几次数值：
（%）
1.00
0.9
0.9
0.81
0.6
0.56
0.35
（%）
3.6
3.7
3.8
3.9
4.0
4.1
4.2
我们想找出对的一个近似公式。
解：
把表中数值划出图来看，发现它的变化趋势近于一条直线。
因此我们决定选取的一次式来表达。
当然最好能选择适当的使下面的等式
都成立。
实际上是不可能的，任何代入上面各式都会发生误差。
于是想找使上面各式的误差的平方和最小，即找到使
最小。
这里讨论的是误差的平方即二乘方，故称为最小二乘法。
现在转向为一般的最小二乘法问题：
实系数线性方程组
（2.1）
可能无解。
即任何一组实数都可能使
（2.2）
不等于零。
2.2最小二乘法原理的证明
2.2.1最小二乘法原理的初等证明
定理1：
是方程组（2.1）的最小二乘解的充要条件是是方程组
（2.3）
的解。
证明：
设
（2.4）
把整理为关于的二次函数得：
其中。
4
必要性：
设是方程组（2.3）的最小二乘解，知有最小值，且是最小值点。
由二次函数的性质得知二次函数，故不全为零（与列满秩的假设一致），且满足：
（2.5）
化简得：
（2.6）
这就是方程组（2.6）。
不难看出方程组（2.6）的系数矩阵为（表示的转置矩阵），由列满秩知,故（2.6）有唯一解。
必要性得证。
充分性：
设是方程组（2.2）的解，由（j=1,2,...,n）满足方程组（2.6），也就是满足（2.4）式，再由于列满秩，不全为零，故⑶中二次项系数，⑷中式有最小值且最小值点为,所以是方程组（2.1）的最小二乘解。
2.2.2利用欧氏空间证明最小二乘法
下面我们利用欧氏空间的概念来表达最小二乘法，并给出最小二乘解所满足的代数条件。
令
，
，
用距离的概念，（2.2）就是
最小二乘法就是找，使与的距离最短，但从（2.2），知道向量就是
把的各列向量分别记为。
由它们生成的子空间为，就是中的向量。
于是最小二乘法问题可叙述成：
找使（2.2）最小，就是在中找一向量，使得它到的距离比到子空间中其它向量的距离都短。
应用前面所给出的结论，设
是所要求的向量，则
必须垂直于子空间。
为此只需而且必须
根据矩阵乘法规则，上述一串等式可以写成矩阵相乘的式子，即
而按行正好排成矩阵，上述一串等式结合起来就是
或
这就是最小二乘解所满足的代数方程，它是一个线性方程组，系数矩阵,常数项是。
2.3最小二乘法简单运用举例
6
2.3.1用最小二乘法求中学数学中《直线型经验公式》的最佳近似解
例一个弹簧的长度和它悬挂的重量间的关系如下：
W
2
4
6
8
10
12
L
8.9
10.1
11.2
12.0
13.1
13.9
求关于、W的经验公式。
解：
设所求的经验公式为
把表中各数据代入此方程得方程组：
有最小二乘法原理知：
解得：
，。
2.3.2实验数据的最小二乘法拟合
例在落体运动中，物体的位移与时间的关系可表为
表示位移，表示初速度，为重力加速度。
在一次落体实验中，得到如下数据：
t（秒）
0
0.1
0.2
0.3
0.4
0.5
s（厘米）
0.6
17.0
41.0
76.0
120.5
175.1
试根据以上数据确定和、。
解：
现在要用五个实验点拟合的是二次多项式（=5,=21），即。
有最小二乘法的曲线拟合原理知
所拟合的二次多项式为
所以厘米/秒。
3一般线性回归模型的参数估计
最小二乘估计是拟和一般线性回归模型的常用方法。
由于其估计值的优良性质，很多文献都对该方法进行了详细介绍。
升级会员 