共轭梯度法及其基本性质.docx
《共轭梯度法及其基本性质.docx》由会员分享，可在线阅读，更多相关《共轭梯度法及其基本性质.docx（10页珍藏版）》请在冰豆网上搜索。
共轭梯度法及其基本性质
共轭梯度法及其基本性质
预备知识
定义1设是对称正定矩阵。
称是A-共轭的，是指
性质1设有是彼此共轭的维向量，即
则一定是线性无关的。
［证明］若有一组数满足
则对一切一定有
注意到，由此得出：
即所有的＝０．因此，是线性无关的．
性质２ 设向量是线性无关的向量组，则可通过它们的线性组合得出一组向量，而是两两共轭的．
［证明］我们用构造法来证实上面的结论．
Ｓ０：
取；
Ｓ１：
令，取．
……
Ｓm：
令
取
容易验证：
符合性质２的要求．
性质３设是两两Ａ－共轭的，是任意指定的向量，那么从出发，逐次沿方向搜索求的极小值，所得序列，满足：
．
［证明］由下山算法可知，从出发，沿方向搜索，获得
从而
性质４设是两两Ａ共轭的，则从任意指定的出发，依次沿搜索，所得序列满足：
（１）
（２），其中是方程组（5.1.1）的解．
［证明］（１）是性质３的直接推论，显然成立．
（２）由于是两两Ａ共轭的，故是线性无关的．所以对于向量可用线性表出，即存在一组数使
由于及，得出
，
于是，再由得出
于是，与得出一样地，我们可以陆续得出：
对比和的表达式可知，
证明完毕
性质４是性质３的直接推论．但它给出了一种求（５.１.１）的算法，这种算法称之为共轭方向法．结合性质２，我们可以得到如下的性质５．
性质５设是上的一组线性无关的向量，则从任意指定的出发，按以下迭代产生的序列：
Ｓ１：
取，，；
Ｓ２：
计算，取；
计算，得出；
如此进行下去，直到第n步：
Ｓn：
计算取
计算，得出．
显然：
根据性质４可知，不论采用什么方法，只要能够构造个两两Ａ共轭的向量作为搜索方向，从任一初始向量出发，依次沿两两Ａ共轭的方向进行搜索，经步迭代后，便可得到正定方程组的解．
共轭梯度法
算法步骤如下：
［预置步］任意，计算，并令取：
指定算法终止常数，置，进入主步；
［主步］（１）如果，终止算法，输出；否则下行；
（２）计算：
（３）计算：
（４）置，转入（１）．
定理５.2.1 由共轭梯度法得到的向量组和具有如下性质：
（１）
（２）
（３）
（４），其中
（5.2.1）
通常称之为Krylov子空间．
［证明］用归纳法．当时，因为
，
因此定理的结论成立．现在假设定理的结论对成立，我们来证明其对也成立．
利用等式及归纳假设，有
又由于
，
故定理的结论（１）对成立．
利用归纳假定有
而由（１）所证知，与上述子空间正交，从而有定理的结论（２）对也成立．
利用等式
和 ，
并利用归纳法假定和（２）所证之结论，就有
．
成立；而由的定义得
这样，定理的结论（３）对也成立．
由归纳法假定知
进而
于是
再注意到（２）和（３）所证的结论表明，向量组和都是线性无关的，因此定理的结论（４）对同样成立．
定理证毕
定理5.2.1表明，向量和分别是Krylov子空间的正交基和共轭正交基．由此可见，共轭梯度法最多步便可得到方程组的解．因此，理论上来讲，共轭梯度法是直接法．
定理5.2.2 用共轭梯度法计算得到的近似解满足
（5.2.２）
或
（5.2.３）
其中，是方程组的解，是由（5.2.1）所定义的Krylov子空间．
证明 注意到：
，则（5.2.2）和（5.2.3）是等价的，因此我们下面只证明（5.2.3）成立．
假定共轭梯度法计算到步出现，那么有
此外，对计算过程中的任一步，有
设是属于的任一向量，则由定理5.2.1的（４）知，可以表示为
，
于是
而
，
再利用定理5.2.1的（３）就可以推出
于是定理得证．
定理证毕
由定理5.2.1，我们容易得出
由此可得
（5.2.4）
另外，从理论上讲，该迭代法经次迭代，便能得到精确解．但考虑到计算误差，可以作为无限迭代算法进行计算，直到为止．
从而，我们得到如下实用的共轭梯度算法：
［预置步］任意，计算，并令取：
指定算法终止常数，置，进入主步；
［主步］（１）计算：
，
（２）如果，转入（3）．否则，终止算法，输出计算结果
（３）计算：
（４）置，转入
（1）
注：
在算法［主步］中，引入变量，及，可以简化计算。
结合程序设计的特点，共轭梯度法可改为如下实用形式：
算法５·３·１（解对称正定方程组：
实用共轭梯度法）
；
whileand
if
else
end
end
共轭梯度法作为一种实用的迭代法，它主要有下面的优点：
算法中，系数矩阵Ａ的作用仅仅是用来由已知向量产生向量，这不仅可充分利用Ａ的稀疏性，而且对某些提供矩阵Ａ较为困难而由已知向量产生向量又十分方便的应用问题是很有益的；
不需要预先估计任何参数就可以计算，这一点不像ＳＯＲ等；
每次迭代所需的计算，主要是向量之间的运算，便于并行化。
5.2.3收敛性分析
将共轭梯度法作为一种迭代法，它的收敛性怎样呢？
这是本节下面主要讨论的问题：
定理５.2.3 如果而且，则共轭梯度法至多迭代步即可得到方程组的精确解。
证明 注意到蕴含着子空间
的维数不会超过，由定理５.2.1即知定理的结论成立。
定理证毕
定理5·2·3表明，若线性方程组（5·1·1）的系数矩阵与单位相关一个秩的矩阵，而且很小时，则共轭梯度法将会收敛得很快。
定理5·2·4用共轭梯度法求得的有如下的误差估计
（5·2·5）
其中
证明由定理5·2·1可知，对任意的，有
记，则是常数项为1的次实系数多项式。
令为所有常数项为1的次数不超过的实系数多项式的全体，则由定理5·2·2和引理5·1·1得
其中是的特征值。
由Chebyshev多项式逼近定理及Chebyshev多项式的性质，定义在[-1，1]区间上的次Chebyshev多项式：
是所有常数项为1的次数不超过的实系数多项式中，在[-1，1]上与“0”的偏差值最小的多项式。
且偏差值为1，对应的交错点组为：
。
因此，多项式
是中在上与“0”的偏差值最小的多项式。
即
于是，我们有
因此，定理得证。
定理证毕
虽然定理5·2·5所给出的估计是十分粗糙的，而且实际计算时其收敛速度往往要比这个估计快得多，但是它却提示了共轭梯度法的一个重要的性质：
只要线性方程组（5·1·1）的系数矩阵是十分良态的（即），则共轭梯度法就会收敛的很快。
WelcomeTo
Download!
!
!
欢迎您的下载，资料仅供参考！
升级会员 