线性回归模型参数估计浅谈_精品文档.doc

1、 中图分类号： O151.2本 科 生 毕 业 论 文 （申请学士学位）论文题目 线性回归模型参数估计浅谈 作者姓名 所学专业名称 数学与应用数学 指导教师 2011年 6 月 04 日学 号：论文答辩日期：2011年6月04日指 导 教 师： （签字） 滁州学院本科毕业论文（设计）原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。本人完全意识到本声明的法律后果由本人承担。 作者签名： 年 月 日目 录摘要：.1Abstract.11绪论21.1背景22最小二乘法的简单

2、原理及应用32.1问题的引入32.2最小二乘法原理的证明42.2.1最小二乘法原理的初等证明42.2.2 利用欧氏空间证明最小二乘法52.3 最小二乘法简单运用举例62.3.1 用最小二乘法求中学数学中直线型经验公式的最佳近似解72.3.2 实验数据的最小二乘法拟合73一般线性回归模型的参数估计83.1一般线性回归模型与最小二乘估计93.2 模拟分析113.3修正的最小二乘估计11总结15参考文献16致 谢17线性回归模型参数估计浅谈摘要：最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识, ，并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。然而，最小二乘法因其抽象

3、、难懂常常被大家所忽视。传统的最小二乘估计在处理一般线性回归模型的参数和的估计问题时,若遇到异常数据模型拟和得往往不好,现给出这个估计方法的修正:修正的最小二乘估计.结果表明此方法在处理异常数据时具有明显的优越性.关键词：线性回归模型；参数估计；最小二乘估计；修正的最小二乘估计中图分类号：O151.2Linear Regression Model Parameter Estimation ShowingAbstract: Least squares fitting Angle is from error estimates parameters of the regression model,

4、 system identification, in the parameter estimation, system identification and variety of fields and forecasting get extremely extensive application. However, the least squares because its abstract and obscure often ignored by everybody. The traditional least squares estimate in dealing with general

5、 linear regression model parameters and when the estimation problem, if encounter abnormal data model fitting and often bad, here presented another method of estimating: fixed the least-square estimation. The results show that this method in dealing with abnormal data has obvious superiority when. K

6、ey words: Linear regression model: Parameter estimate; Least squares estimate; Fixed the least-square estimation 21 绪 论回归分析是一种传统的应用性较强的科学方法，是现代应用统计学的一个重要的分支，在各个科学领域都得到了广泛的应用。它不仅能够把隐藏在大规模原始数据群体中的重要信息提炼出来，而且能把握住数据群体的主要特征，从而得到变量间相关关系的数学表达式，利用概率统计知识对此关系进行分析，以判别其有效性，还可以利用关系式，由一个或多个变量值去预测和控制另一个因变量的取值，从而知道

7、这种预测和控制达到的程度，并进行因素分析。1.1背 景线性回归是利用数理统计中的回归分析，来确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法之一，运用十分广泛。在实际问题中我们常常会遇到多个变量同处于一个过程之中，它们相互联系、相互制约。在有的变量间有完全确定的函数关系，比如圆面积与半径之间存在关系式。另外还有一些变量，它们之间也有一定的关系，然而这种关系并不完全确定，比如正常人的血压与年龄有一定的关系，一般讲年龄大的人血压相对高一些，但是它们之间就不能用一个确定的函数关系式表达出来。回归分析就是寻找这类不完全确定变量间的数学关系式并进行统计推断的一种方法。无论是国内还是国外对与线

8、性回归的研究都是与日俱增，无论是对与一元线性回归还是多元线性回归的问题，国内外都对其做出了各种不同的参数估计。Giles J A, Giles D E A, Ohtani,K在1996年发布了确切的风险和线性回归的一些前测问卷发放平衡损失5，国内对与线性回归的参考文献也很多，王虹（2000）分析了线性回归主成份在教学评估中的应用3，张红兵和张晓青（2004）发表了PVC异型材工艺参数的主成份分析法4，王松桂、史建江、尹素菊等（2004）线性模型引论也介绍了线性回归模型中的参数估计7。本文主要研究如何从现实问题中构造适当的的线性回归模型得出回归方程，最小二乘估计简单原理和应用，修正的最小二乘法估

9、计解决一般线性回归模型参数估计，显著性检验的正确性，模拟的清晰化。2 最小二乘法的简单原理及应用最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识，并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。然而，最小二乘法因其抽象、难懂常常被大家所忽视。 最小二乘法作为一种传统的参数估计方法，早已经被大家所了解。然而许多人对最小二乘法的认识都比较模糊，仅仅把最小二乘法理解为简单的线性参数估计。事实上，最小二乘法在参数估计、系统辨识以及预测、预报等众多领域都有着广泛的应用。2.1问题的引入已知某种材料在生产过程中的废品率与某种化学成分有关。 下列表中记载了某工厂生产中与相应的的

10、几次数值：（%）1.000.90.90.810.60.560.35（%）3.63.73.83.94.04.14.2我们想找出对的一个近似公式。解：把表中数值划出图来看， 发现它的变化趋势近于一条直线。因此我们决定选取的一次式来表达。 当然最好能选择适当的使下面的等式都成立。 实际上是不可能的，任何代入上面各式都会发生误差。 于是想找使上面各式的误差的平方和最小，即找到使最小。这里讨论的是误差的平方即二乘方，故称为最小二乘法。现在转向为一般的最小二乘法问题： 实系数线性方程组 （2.1）可能无解。 即任何一组实数都可能使 （2.2）不等于零。2.2最小二乘法原理的证明2.2.1最小二乘法原理的初

11、等证明定理1：是方程组（2.1）的最小二乘解的充要条件是是方程组 (2.3)的解。证明：设 (2.4)把整理为关于的二次函数得：其中。4必要性：设是方程组(2.3)的最小二乘解，知有最小值，且是最小值点。由二次函数的性质得知二次函数，故不全为零（与列满秩的假设一致），且满足： (2.5)化简得： (2.6)这就是方程组(2.6)。 不难看出方程组(2.6)的系数矩阵为(表示的转置矩阵)，由列满秩知,故(2.6)有唯一解。 必要性得证。充分性：设是方程组(2.2) 的解，由( j=1,2,.,n)满足方程组(2.6)，也就是满足(2.4)式，再由于列满秩，不全为零，故中二次项系数，中式有最小值且

12、最小值点为,所以是方程组(2.1)的最小二乘解。2.2.2 利用欧氏空间证明最小二乘法下面我们利用欧氏空间的概念来表达最小二乘法，并给出最小二乘解所满足的代数条件。令， 用距离的概念，（2.2）就是最小二乘法就是找，使与的距离最短，但从（2.2），知道向量就是把的各列向量分别记为。由它们生成的子空间为，就是中的向量。于是最小二乘法问题可叙述成：找使(2.2)最小，就是在中找一向量，使得它到的距离比到子空间中其它向量的距离都短。应用前面所给出的结论，设是所要求的向量，则必须垂直于子空间。为此只需而且必须根据矩阵乘法规则，上述一串等式可以写成矩阵相乘的式子，即而按行正好排成矩阵，上述一串等式结合起

13、来就是或这就是最小二乘解所满足的代数方程，它是一个线性方程组，系数矩阵,常数项是。2.3 最小二乘法简单运用举例62.3.1 用最小二乘法求中学数学中直线型经验公式的最佳近似解例 一个弹簧的长度和它悬挂的重量间的关系如下：W24681012L8.910.111.212.013.113.9求关于、W的经验公式。解：设所求的经验公式为 把表中各数据代入此方程得方程组：有最小二乘法原理知：解得：，。2.3.2 实验数据的最小二乘法拟合例 在落体运动中，物体的位移与时间的关系可表为表示位移，表示初速度，为重力加速度。在一次落体实验中，得到如下数据：t（秒）00.10.20.30.40.5s（厘米）0.617.041.076.0120.5175.1试根据以上数据确定 和、。解：现在要用五个实验点拟合的是二次多项式（=5,=21），即 。有最小二乘法的曲线拟合原理知, 所拟合的二次多项式为所以厘米/秒。3 一般线性回归模型的参数估计最小二乘估计是拟和一般线性回归模型的常用方法。由于其估计值的优良性质，很多文献都对该方法进行了详细介绍。