曲线拟合的最小二乘法.ppt

1、第三章 曲线拟合的最小二乘法/函数平方逼近初步,Numerical Analysis,曲线拟合问题:(建立试验数据的模型)在实际应用中，往往并不需要曲线通过给定的数据点，而只要求用曲线(函数)近似代替给定的列表函数时，其 误差在某种度量意义下最小。函数逼近问题:(连续函数的逼近)在实际应用中常需为解析式子比较复杂的函数寻找一个简单函数来近似代替它，并要求其误差在某种度量意义下最小。可统称为最佳逼近问题,3.1 拟合与逼近问题,一.问题的提出,插值法是使用插值多项式来逼近未知或复杂函数的，它要求插值函数与被插函数在插值节点上函数值相同，而在其他点上没有要求。在非插值节点上有时函数值会相差很大。若

2、要求在被插函数的定义区间上都有较好的近似，就是最佳逼近问题。,必须找到一种度量标准来衡量什么是最佳逼近.,最佳一致逼近是在函数空间 M中选 P(x)满足 但由于绝对值函数不宜进行分析运算，常替之以来讨论，于是最佳逼近问题变为最佳平方逼近问题 这即为连续函数的最佳平方逼近.对于离散的问题，最佳平方逼近问题为:就是常说的曲线拟合的最小二乘法.,最佳逼近,二.预备知识,内积:,常采用的内积与范数,1.正交函数族与正交多项式 定义1 若f(x),g(x)Ca,b,(x)为a,b上的权函数 且满足:则称f(x)与g(x)在a,b上带权(x)正交。,正交多项式,若函数族 0(x),1(x),n(x),满足

3、关系 则称k(x)是a,b上带权(x)的正交函数族。例如，三角函数族 1,cosx,sinx,cos2x,sin2x,就是在区间-,上的正交函数族。,定义2 设 n(x)是a,b上首项系数 an0 的 n次多项式,(x)为a,b上权函数，如果多项式序列 满足关系式:则称为多项式序列 为在a,b上带权(x)正交，称n(x)为a,b上带权(x)的n次正交多项式。,只要给定区间a,b及权函数(x),均可由一族线性无关的幂函数 1,x,xn,利用逐个正交化手续(Gram-Schmidt正交化方法)：构造出正交多项式序列。,2.勒让德多项式,定义3 当区间为-1,1,权函数(x)1 时,由1,x,xn,

4、正交化得到的多项式就称为勒让德(Legendre)多项式,并用 P0(x),P1(x)，Pn(x)，表示。这是勒让德于1785年引进的。1814年罗德利克(Rodrigul)给出了简单的表达式：,由于(x2-1)n 是2n次多项式，求n阶导数后得到 于是得首项 xn 的系数显然最高项系数为1的勒让德多项式为:,勒让德多项式有下述几个重要性质：性质1.正交性性质2.奇偶性 pn(-x)=(-1)n pn(x)性质3.递推关系(n+1)pn+1(x)=(2n+1)xpn(x)-npn-1(x)(n=1,2,)(*)由p0(x)=1，p1(x)=x，利用(*)就可推出pn(x)的表达式:,性质4.p

5、n(x)在区间-1，1内有n个不同的实零点。,实例：考察某种纤维的强度y与其拉伸倍数x的关系，下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的记录:,一.实例讲解,3.2 曲线拟合(最小二乘法),纤维强度随拉伸倍数增加而增加,并且24个点大致分布在一条直线附近,-(1),必须找到一种度量标准来衡量什么曲线最接近所有数据点.,二、问题的提法,定义平方误差(偏差平方和):,我们选取的度量标准是,-(2),-(3),使得,三、法方程组,由,可知,因此可假设,因此求最小二乘解转化为,二次函数,由多元函数取极值的必要条件,得,即,-(4),即,引入记号,则由内积的概念可知,-(5),-(6),显然

6、内积满足交换律,方程组(4)便可化为,-(7),将其表示成矩阵形式,-(8),并且其系数矩阵为对称阵.,根据Cramer法则,法方程组有唯一解,即,是,的最小值,所以,因此,作为一种简单的情况,基函数之间的内积为,平方误差,例1.回到本节开始的实例，从散点图可以看出,纤维强度和拉伸倍数之间近似与线性关系,故可选取线性函数,为拟合函数，其基函数为,建立法方程组,根据内积公式，可得,法方程组为,解得,平方误差为,拟合曲线与散点的关系如右图:,四、加权最小二乘法,各点的重要性可能是不一样的,权:,即权重或者密度，统称为权系数.,定义加权平方误差为,-(9),使得,由多元函数取极值的必要条件,得,即,

7、引入记号,定义加权内积,-(10),矩阵形式(法方程组)为,方程组(10)式化为,-(11),-(12),平方误差为,作为特殊情形,用多项式作拟合函数的法方程组为,-(13),五、最小二乘原理的其他应用,1、算术平均：最小二乘意义下误差最小2、超定方程组的最小二乘解 P103 例3.3.3,3.3 连续函数的最佳平方逼近,1.最佳平方逼近问题,-(14),2.解法(法方程),-(15),最小二乘法方法评注,曲线拟合的最小二乘法是实验数据处理的常用方法。最佳逼近可以在一个区间上比较均匀的逼近函数。具有方法简单易行，实效性大，应用广泛等特点。但当法方程组阶数较高时，往往出现病态。因此必须谨慎对待和加以巧妙处理。有效方法之一是引入正交多项式以改善其病态性（简介基本思想）。,See you next chapter!,复习题 P32 例1.8.3习题 3.13.3、3.6、3.7、3.9 3.13(1)、3.20,