函数逼近及最小二乘法.docx

1、 函数逼近及最小二乘法函数逼近及最小二乘法 第三章第三章 函数逼近及最小二乘法函数逼近及最小二乘法 1 内积空间及函数的范数内积空间及函数的范数 定义 1 设是定义在(a,b)上的非负函数，且满足：1）存在（n=0,1,2,）2）对非负的连续函数 g(x)，若 则在(a,b)上有 g(x)=0，则称为(a,b)上的权函数。定义 2 设 f(x),g(x)为a,b上的连续函数，为(a,b)上的权函数，称 =为函数 f(x)与 g(x)在a,b的内积。特别当=1时，上式变为 =设表示在区间a,b上连续函数的全体，那么定义了内积之后，就变成了一个内积空间。显然有 =为一个非负值，因此我们有 定义 3

2、 对，称 为的欧氏范数（又称 2-范数）。其实，我们还经常用到函数的其他范数。比如，n维向量空间中两个向量正交的定义也可以推广到连续内积空间中.定义 4 若,满足 =0 则称函数 f(x)与 g(x)在a,b上带权正交.若函数族满足 则称函数族是a,b上带权的正交函数族.特别地,若,就称之为标准正交函数族.由高等数学的知识，我们知道,Foureir级数展开中函数族 1,cosx,sinx,cos2x,sin2x,即为上带权=1的正交函数族.如同线性代数中的向量组线性无关概念一样,在此也有函数组的线性无关概念.定义 5设函数组在a,b上连续,若 当且仅当 时成立,则称函数族在a,b上是线性无关的

3、.否则称为线性相关函数组。若函数族满足任何有限个组成的函数组都是线性无关的。则称此函数族为线性无关函数族。例如：1，即为任意区间a,b上的线性无关函数族。若在a,b上是线性无关的函数组，且是任意实数，则 的全体是 Ca,b中的一个子集，记作 称为由生成的连续函数空间。判断线性无关的条件由下定理给出，定理 在a,b上线性无关的充要条件为。2 正交多项式 一般地，给定区间a,b及权函数后，由 1，可以用 Schmidt 正交化方法构造出 n次正交多项式，其公式为：，（2-1）这样构造的正交多项式有以下性质：是最高项系数为 1的 k次多项式；任何 k次多项式均可表示为前 k+1个多项式的线性组合；对

4、于，有，并且与任一次数小于 k的多项式正交。例：给定区间0,1及权函数，由 1，用Schmidt 正交化方法构造出前 3个正交多项式。解 由公式（2-1）知，其中，由此得，得=。2-1 Legendre正交多项式 Legendre正交多项式为区间-1,1及权函数时，由 1，用Schmidt 正交化方法构造出的 n次正交多项式。它是由 Legendre于 1785年首先引入的，1814年 Rordrigul给出了更简单的表示式，即 （2-2）易见，的最高次项的系数与的系数是相同的，所以的最高次项，的系数为，从而得到最高次项系数为 1的 Legendre正交多项式为 （2-3）以下是 Legend

5、re正交多项式的几个重要性质：性质 1 正交性 （2-4）证明 令，显然 设是-1,1上 n阶连续可导函数，由分部积分 若是次数小于 n的单项式时，故得 当时。若 则 又 代入上式得 ，得证。性质 2 奇偶性 证明 由于为偶函数，n为偶数时，相当于偶函数求偶次导数，结果仍为偶函数。n为奇数时，相当于偶函数求奇次导数，结果为奇函数。性质 3 递推关系 （2-5）证明 由于为一个 n+1次多项式，所以它可以表示成 （2-5）两边乘以，并在-1，1上积分，再由正交性知 （2-6）当时，为一个次数小于等于 n-1的多项式，为的线性组合，与它们正交，所以（2-6）式左端等于 0，得，当时，（2-6）式中

6、为奇函数，（2-6）式左端等于 0，。由以上讨论知（2-5）式变为 （2-7）比较（2-7）两端的系数，得，在（2-7）式中取 x=1，并注意到 Legendre正交多项式满足（得到，。得证。性质 4在-1，1内有 n个不同的零点。性质 5 在-1,1区间上，所有最高项系数为 1的 n次多项式中，Legendre正交多项式的欧氏范数（2-范数）最小。即。其中 J=最高项系数为 1的 n次多项式。2-2 Chebyshev正交多项式 Chebyshev正交多项式为区间-1,1及权函数时，由 1，用 Schmidt 正交化方法构造出的 n次正交多项式。其表达式为 （2-8）若令，则有 Chebys

7、hev正交多项式有如下性质：性质 1有以下递推关系 （2-9）证明 两式相加，得，并由及得证。性质 2 的最高项系数为。证明 由（2-9）式，比较最高次项系数知，又有，得证。性质 3 正交性 证明 做变换得 （2-10）性质 4 奇偶性。即 n为奇数时，为奇函数；n为偶数时，为偶函数。证明 由递推公式直接得证。性质 5在-1,1上有 n个实零点，（），并有 n+1个点（）轮流取最大值 1和最小值-1。证明 由的表示式得证。性质 6 在-1,1上所有最高项系数为 1的一切 n次多项式中，的-范数最小，且有。（2-11）证明 由性质 5知（2-11）成立。下证的-范数最小。用反证法，假设存在某一最

8、高项系数为 1的 n次多项式，满足，令 （2-12）则由于和均为 n次多项式，为次数不超过 n-1次的多项式，因为（）使轮流取最大值 1和最小值-1，所以有 （）由假设知，从而知在 n+1个点上轮流取正负值，由Rolle定理知，至少有 n个零点。所以=0。与假设矛盾。这一性质的等价性叙述为：对于-1，1上的函数，在所有次数不超过n-1次的多项式中，是使得 达到最小的解。3函数逼近 函数逼近问题的一般提法：对函数类 A 中给定的函数，要求在另一类较简单的便于计算的函数类 B 中，求函数，使与在某种度量意义下达最小。最常用的两种度量意义是（1）在这种度量意义下的逼近称为一致（均匀）逼近。（2）在这

9、种度量意义下的逼近称为均方（平方）逼近。3-1 利用 Legendre正交多项式求最佳平方逼近多项式 设，用正交多项式作为基，将展开成无穷级数 （3-1）（3-1）称为广义 Foureir级数，系数称为广义 Foureir系数。当满足一定条件时，级数（3-1）可以一致收敛到函数。因此取级数的前有限项 即可作为函数的最佳平方逼近多项式，其中 特别地，时按 Legendre正交多项式展开可以求得函数的最佳平方逼近多项式 其中，（3-2）此时的平方误差为 （3-3）例（88页例 4）注：当时，只须作一个变换 对求最佳最佳平方逼近多项式。3-2 利用 Chebyshev正交多项式求近似最佳一致逼近多项

10、式 一般情况下，求的最佳一致逼近多项式是很困难的。但是利用Chebyshev正交多项式可以很好的求近似最佳一致逼近多项式。这里只介绍一种方法。这就是将时按 Chebyshev正交多项式展开成广义 Foureir级数 （3-4）（3-4）式称为在-1，1上的 Chebyshev级数，其中系数 （3-5）若令，则上式为 根据 Foureir级数的理论知，只要在-1，1上分段连续，则的Chebyshev级数（3-4）就一致收敛于。于是取（3-4）式的部分和 （3-6）即可作为在-1，1上的近似最佳一致逼近多项式。实际计算表明它与理论上的最佳一致逼近多项式非常接近。例（90页例 5）4 曲线拟合的最小

11、二乘法 4-1 一般最小二乘问题 设给定如下数据 其中，表示权，它可以表示此点的重要程度，也可以表示次点的重复次数。今要求建立 x,y之间的函数关系，这当然可以用插值法来实现。但由于这些数据往往是由实验得到的，当然会带有误差，而插值法要求过这些点，这就会将误差带入函数关系中；另外，这样的数据往往较多，就会使所求的插值多项式的次数较高，次数越高越会影响逼近效果。因此，今要求所求函数关系不过点，只要求在给定点上的误差按某种度量标准最小。若记，常用（称为 2-范数）来度量误差的大小。故常称为最小二乘逼近。问题的一般提法是：对给定的一组数据（）及权系数，在函数类中找一个函数，使误差平方 （4-1）问题

12、等价于求使 若令 =（4-2）即相当于求多元函数的极小值问题。为此令 =0 （4-3）其中，改写（4-3）式得 即，（4-4）令 则（4-4）式变为 （4-5）式（4-5）称为法方程。由于线性无关，所以（4-5）的系数行列式，从而保证了方程组有唯一解。应注意的是，若，（），即用多项式作最小二乘法时，n不宜太大，否则方程组往往是病态的（详细情况见第七章）。例 观测物体的直线运动，得到以下数据 时间 t(sec.)0 0.9 1.9 3.0 3.9 5.0 距离 S(m)0 10 30 50 80 110 1 1 1 1 1 1 试求最小二乘曲线拟合。解 作一草图可知，近似一个线性函数，为此选线性

13、函数做曲线拟合。设 这里 m=5,n=1,故，同理，得线性方程组 解之，例 设有一组实验数据如下表的第 2，3列所示。试从这组数据出发，建立变量 x与y之间的经验公式。yi 1 1 1 1 1 1 2 3 4 5 15.3 20.5 27.4 36.6 49.1 1.1847 1.3118 1.4378 1.5635 1.6911 1 4 9 16 25 1.1847 2.6236 4.3134 6.2540 8.4555 1 1 1 6 7 8 65.6 87.8 117.6 1.8169 1.9435 2.0704 36 49 64 10.9014 13.6045 16.5632 36 4

14、19.9 13.0197 204 63.9003 解 画一草图可知，曲线接近一指数曲线，故取指数函数（a,b为待定常数）作为拟合函数。然而，这并非是一个线性函数。因此需要先将线性化，对两边取以 10为底的对数得，令，则问题变为线性函数问题，相应的（）这里 m=7,n=1,同上例，同理，得线性方程组解之得，所以得，最后得所求经验公式 由此例可见，对于非线性函数可以先通过变换将其化为线性函数后再作曲线拟合。一般地，形如，的函数均可以化为线性函数来做。4-2 用正交函数作最小二乘拟合 上面已提到当用高次（大于等于 7时）多项式作最小二乘拟合时，往往会使得法方程是病态方程组，这会使得方程组的解有较大的误差。但如果是关于点，带权（）正交时，即 时，法方程（4-5）的解 所求解 （4-6）即为所求。此时的平方误差 现在我们根据给定节点及权函数，构造出带权正交的多项式。注意这里，用递推公式表示，即 （4-7）（）这里是首项系数为 1的 k次多项式。根据的正交性，得系数如下计算 （4-8）（）利用归纳法可以证明这样构造的是正交的。例 已知一组实验数据如下 -2-1 0 1 2 -1-1 0 1 1 并设权函数，求函数的 3次拟合曲线。解 由权函数，由公式（4-7）（4-8）得，所以，。由。得，同理得，故得所求 3次拟合曲线为 。