函数逼近及最小二乘法.docx

函数逼近及最小二乘法.docx

《函数逼近及最小二乘法.docx》由会员分享，可在线阅读，更多相关《函数逼近及最小二乘法.docx（18页珍藏版）》请在冰豆网上搜索。

函数逼近及最小二乘法函数逼近及最小二乘法第三章第三章函数逼近及最小二乘法函数逼近及最小二乘法1内积空间及函数的范数内积空间及函数的范数定义1设是定义在（a,b）上的非负函数，且满足：

1）存在（n=0,1,2,）2）对非负的连续函数g（x），若则在（a,b）上有g（x）=0，则称为（a,b）上的权函数。

定义2设f（x）,g（x）为a,b上的连续函数，为（a,b）上的权函数，称=为函数f（x）与g（x）在a,b的内积。

特别当=1时，上式变为=设表示在区间a,b上连续函数的全体，那么定义了内积之后，就变成了一个内积空间。

显然有=为一个非负值，因此我们有定义3对，称为的欧氏范数（又称2-范数）。

其实，我们还经常用到函数的其他范数。

比如，n维向量空间中两个向量正交的定义也可以推广到连续内积空间中.定义4若,满足=0则称函数f（x）与g（x）在a,b上带权正交.若函数族满足则称函数族是a,b上带权的正交函数族.特别地,若,就称之为标准正交函数族.由高等数学的知识，我们知道,Foureir级数展开中函数族1,cosx,sinx,cos2x,sin2x,即为上带权=1的正交函数族.如同线性代数中的向量组线性无关概念一样,在此也有函数组的线性无关概念.定义5设函数组在a,b上连续,若当且仅当时成立,则称函数族在a,b上是线性无关的.否则称为线性相关函数组。

若函数族满足任何有限个组成的函数组都是线性无关的。

则称此函数族为线性无关函数族。

例如：

1，即为任意区间a,b上的线性无关函数族。

若在a,b上是线性无关的函数组，且是任意实数，则的全体是Ca,b中的一个子集，记作称为由生成的连续函数空间。

判断线性无关的条件由下定理给出，定理在a,b上线性无关的充要条件为。

2正交多项式一般地，给定区间a,b及权函数后，由1，可以用Schmidt正交化方法构造出n次正交多项式，其公式为：

，（2-1）这样构造的正交多项式有以下性质：

是最高项系数为1的k次多项式；任何k次多项式均可表示为前k+1个多项式的线性组合；对于，有，并且与任一次数小于k的多项式正交。

例：

给定区间0,1及权函数，由1，用Schmidt正交化方法构造出前3个正交多项式。

解由公式（2-1）知，其中，由此得，得=。

2-1Legendre正交多项式Legendre正交多项式为区间-1,1及权函数时，由1，用Schmidt正交化方法构造出的n次正交多项式。

它是由Legendre于1785年首先引入的，1814年Rordrigul给出了更简单的表示式，即（2-2）易见，的最高次项的系数与的系数是相同的，所以的最高次项，的系数为，从而得到最高次项系数为1的Legendre正交多项式为（2-3）以下是Legendre正交多项式的几个重要性质：

性质1正交性（2-4）证明令，显然设是-1,1上n阶连续可导函数，由分部积分若是次数小于n的单项式时，故得当时。

若则又代入上式得，得证。

性质2奇偶性证明由于为偶函数，n为偶数时，相当于偶函数求偶次导数，结果仍为偶函数。

n为奇数时，相当于偶函数求奇次导数，结果为奇函数。

性质3递推关系（2-5）证明由于为一个n+1次多项式，所以它可以表示成（2-5）两边乘以，并在-1，1上积分，再由正交性知（2-6）当时，为一个次数小于等于n-1的多项式，为的线性组合，与它们正交，所以（2-6）式左端等于0，得，当时，（2-6）式中为奇函数，（2-6）式左端等于0，。

由以上讨论知（2-5）式变为（2-7）比较（2-7）两端的系数，得，在（2-7）式中取x=1，并注意到Legendre正交多项式满足（得到，。

得证。

性质4在-1，1内有n个不同的零点。

性质5在-1,1区间上，所有最高项系数为1的n次多项式中，Legendre正交多项式的欧氏范数（2-范数）最小。

即。

其中J=最高项系数为1的n次多项式。

2-2Chebyshev正交多项式Chebyshev正交多项式为区间-1,1及权函数时，由1，用Schmidt正交化方法构造出的n次正交多项式。

其表达式为（2-8）若令，则有Chebyshev正交多项式有如下性质：

性质1有以下递推关系（2-9）证明两式相加，得，并由及得证。

性质2的最高项系数为。

证明由（2-9）式，比较最高次项系数知，又有，得证。

性质3正交性证明做变换得（2-10）性质4奇偶性。

即n为奇数时，为奇函数；n为偶数时，为偶函数。

证明由递推公式直接得证。

性质5在-1,1上有n个实零点，（），并有n+1个点（）轮流取最大值1和最小值-1。

证明由的表示式得证。

性质6在-1,1上所有最高项系数为1的一切n次多项式中，的-范数最小，且有。

（2-11）证明由性质5知（2-11）成立。

下证的-范数最小。

用反证法，假设存在某一最高项系数为1的n次多项式，满足，令（2-12）则由于和均为n次多项式，为次数不超过n-1次的多项式，因为（）使轮流取最大值1和最小值-1，所以有（）由假设知，从而知在n+1个点上轮流取正负值，由Rolle定理知，至少有n个零点。

所以=0。

与假设矛盾。

这一性质的等价性叙述为：

对于-1，1上的函数，在所有次数不超过n-1次的多项式中，是使得达到最小的解。

3函数逼近函数逼近问题的一般提法：

对函数类A中给定的函数，要求在另一类较简单的便于计算的函数类B中，求函数，使与在某种度量意义下达最小。

最常用的两种度量意义是

（1）在这种度量意义下的逼近称为一致（均匀）逼近。

（2）在这种度量意义下的逼近称为均方（平方）逼近。

3-1利用Legendre正交多项式求最佳平方逼近多项式设，用正交多项式作为基，将展开成无穷级数（3-1）（3-1）称为广义Foureir级数，系数称为广义Foureir系数。

当满足一定条件时，级数（3-1）可以一致收敛到函数。

因此取级数的前有限项即可作为函数的最佳平方逼近多项式，其中特别地，时按Legendre正交多项式展开可以求得函数的最佳平方逼近多项式其中，（3-2）此时的平方误差为（3-3）例（88页例4）注：

当时，只须作一个变换对求最佳最佳平方逼近多项式。

3-2利用Chebyshev正交多项式求近似最佳一致逼近多项式一般情况下，求的最佳一致逼近多项式是很困难的。

但是利用Chebyshev正交多项式可以很好的求近似最佳一致逼近多项式。

这里只介绍一种方法。

这就是将时按Chebyshev正交多项式展开成广义Foureir级数（3-4）（3-4）式称为在-1，1上的Chebyshev级数，其中系数（3-5）若令，则上式为根据Foureir级数的理论知，只要在-1，1上分段连续，则的Chebyshev级数（3-4）就一致收敛于。

于是取（3-4）式的部分和（3-6）即可作为在-1，1上的近似最佳一致逼近多项式。

实际计算表明它与理论上的最佳一致逼近多项式非常接近。

例（90页例5）4曲线拟合的最小二乘法4-1一般最小二乘问题设给定如下数据其中，表示权，它可以表示此点的重要程度，也可以表示次点的重复次数。

今要求建立x,y之间的函数关系，这当然可以用插值法来实现。

但由于这些数据往往是由实验得到的，当然会带有误差，而插值法要求过这些点，这就会将误差带入函数关系中；另外，这样的数据往往较多，就会使所求的插值多项式的次数较高，次数越高越会影响逼近效果。

因此，今要求所求函数关系不过点，只要求在给定点上的误差按某种度量标准最小。

若记，常用（称为2-范数）来度量误差的大小。

故常称为最小二乘逼近。

问题的一般提法是：

对给定的一组数据（）及权系数，在函数类中找一个函数，使误差平方（4-1）问题等价于求使若令=（4-2）即相当于求多元函数的极小值问题。

为此令=0（4-3）其中，改写（4-3）式得即，（4-4）令则（4-4）式变为（4-5）式（4-5）称为法方程。

由于线性无关，所以（4-5）的系数行列式，从而保证了方程组有唯一解。

应注意的是，若，（），即用多项式作最小二乘法时，n不宜太大，否则方程组往往是病态的（详细情况见第七章）。

例观测物体的直线运动，得到以下数据时间t（sec.）00.91.93.03.95.0距离S（m）010305080110111111试求最小二乘曲线拟合。

解作一草图可知，近似一个线性函数，为此选线性函数做曲线拟合。

设这里m=5,n=1,故，同理，得线性方程组解之，例设有一组实验数据如下表的第2，3列所示。

试从这组数据出发，建立变量x与y之间的经验公式。

yi111111234515.320.527.436.649.11.18471.31181.43781.56351.691114916251.18472.62364.31346.25408.455511167865.687.8117.61.81691.94352.070436496410.901413.604516.563236419.913.019720463.9003解画一草图可知，曲线接近一指数曲线，故取指数函数（a,b为待定常数）作为拟合函数。

然而，这并非是一个线性函数。

因此需要先将线性化，对两边取以10为底的对数得，令，则问题变为线性函数问题，相应的（）这里m=7,n=1,同上例，同理，得线性方程组解之得，所以得，最后得所求经验公式由此例可见，对于非线性函数可以先通过变换将其化为线性函数后再作曲线拟合。

一般地，形如，的函数均可以化为线性函数来做。

4-2用正交函数作最小二乘拟合上面已提到当用高次（大于等于7时）多项式作最小二乘拟合时，往往会使得法方程是病态方程组，这会使得方程组的解有较大的误差。

但如果是关于点，带权（）正交时，即时，法方程（4-5）的解所求解（4-6）即为所求。

此时的平方误差现在我们根据给定节点及权函数，构造出带权正交的多项式。

注意这里，用递推公式表示，即（4-7）（）这里是首项系数为1的k次多项式。

根据的正交性，得系数如下计算（4-8）（）利用归纳法可以证明这样构造的是正交的。

例已知一组实验数据如下-2-1012-1-1011并设权函数，求函数的3次拟合曲线。

解由权函数，由公式（4-7）（4-8）得，所以，。

由。

得，同理得，故得所求3次拟合曲线为。