共轭梯度法及其基本性质word文档良心出品.docx
《共轭梯度法及其基本性质word文档良心出品.docx》由会员分享，可在线阅读，更多相关《共轭梯度法及其基本性质word文档良心出品.docx（15页珍藏版）》请在冰豆网上搜索。
共轭梯度法及其基本性质word文档良心出品
共轭梯度法及其基本性质
预备知识
定义1设
是对称正定矩阵。
称
是A-共轭的，是指
性质1设有
是彼此共轭的
维向量，即
则
一定是线性无关的。
［证明］若有一组数
满足
则对一切
一定有
注意到
，由此得出：
即所有的
＝０．因此，
是线性无关的．
性质２ 设向量
是线性无关的向量组，则可通过它们的线性组合得出一组向量
，而
是两两共轭的．
［证明］我们用构造法来证实上面的结论．
Ｓ０：
取
；
Ｓ１：
令
，取
．
……
Ｓm：
令
取
容易验证：
符合性质２的要求．
性质３设
是两两Ａ－共轭的，
是任意指定的向量，那么从
出发，逐次沿方向
搜索求
的极小值，所得序列
，满足：
．
［证明］由下山算法可知，从
出发，沿
方向搜索，获得
从而
性质４设
是两两Ａ共轭的，则从任意指定的
出发，依次沿
搜索，所得序列
满足：
（１）
（２）
，其中
是方程组（5.1.1）的解．
［证明］（１）是性质３的直接推论，显然成立．
（２）由于
是两两Ａ共轭的，故
是线性无关的．所以对于向量
可用
线性表出，即存在一组数
使
由于
及
，得出
，
于是
，再由
得出
于是
，与得出
一样地，我们可以陆续得出：
对比
和
的表达式可知，
证明完毕
性质４是性质３的直接推论．但它给出了一种求（５.１.１）的算法，这种算法称之为共轭方向法．结合性质２，我们可以得到如下的性质５．
性质５设
是
上的一组线性无关的向量，则从任意指定的
出发，按以下迭代产生的序列
：
Ｓ１：
取
，
，
；
Ｓ２：
计算
，取
；
计算
，得出
；
如此进行下去，直到第n步：
Ｓn：
计算
取
计算
，得出
．
显然：
根据性质４可知，不论采用什么方法，只要能够构造
个两两Ａ共轭的向量作为搜索方向，从任一初始向量出发，依次沿两两Ａ共轭的方向进行搜索，经
步迭代后，便可得到正定方程组
的解．
共轭梯度法
算法步骤如下：
［预置步］任意
，计算
，并令取：
指定算法终止常数
，置
，进入主步；
［主步］（１）如果
，终止算法，输出
；否则下行；
（２）计算：
（３）计算：
（４）置
，转入（１）．
定理５.2.1 由共轭梯度法得到的向量组
和
具有如下性质：
（１）
（２）
（３）
（４）
，其中
（5.2.1）
通常称之为Krylov子空间．
［证明］用归纳法．当
时，因为
，
因此定理的结论成立．现在假设定理的结论对
成立，我们来证明其对
也成立．
利用等式
及归纳假设，有
又由于
，
故定理的结论（１）对
成立．
利用归纳假定有
而由（１）所证知，
与上述子空间正交，从而有定理的结论（２）对
也成立．
利用等式
和
，
并利用归纳法假定和（２）所证之结论，就有
．
成立；而由
的定义得
这样，定理的结论（３）对
也成立．
由归纳法假定知
进而
于是
再注意到（２）和（３）所证的结论表明，向量组
和
都是线性无关的，因此定理的结论（４）对
同样成立．
定理证毕
定理5.2.1表明，向量
和
分别是Krylov子空间
的正交基和共轭正交基．由此可见，共轭梯度法最多
步便可得到方程组的解
．因此，理论上来讲，共轭梯度法是直接法．
定理5.2.2 用共轭梯度法计算得到的近似解
满足
（5.2.２）
或
（5.2.３）
其中
，
是方程组
的解，
是由（5.2.1）所定义的Krylov子空间．
证明 注意到：
，则（5.2.2）和（5.2.3）是等价的，因此我们下面只证明（5.2.3）成立．
假定共轭梯度法计算到
步出现
，那么有
此外，对计算过程中的任一步
，有
设
是属于
的任一向量，则由定理5.2.1的（４）知，
可以表示为
，
于是
而
，
再利用定理5.2.1的（３）就可以推出
于是定理得证．
定理证毕
由定理5.2.1，我们容易得出
由此可得
（5.2.4）
另外，从理论上讲，该迭代法经
次迭代，便能得到精确解．但考虑到计算误差，可以作为无限迭代算法进行计算，直到
为止．
从而，我们得到如下实用的共轭梯度算法：
［预置步］任意
，计算
，并令取：
指定算法终止常数
，置
，进入主步；
［主步］（１）计算：
，
（２）如果
，转入（3）．否则，终止算法，输出计算结果
（３）计算：
（４）置
，转入
（1）
注：
在算法［主步］中，引入变量
，
及
，可以简化计算。
结合程序设计的特点，共轭梯度法可改为如下实用形式：
算法５·３·１（解对称正定方程组：
实用共轭梯度法）
；
while
and
if
else
end
end
共轭梯度法作为一种实用的迭代法，它主要有下面的优点：
算法中，系数矩阵Ａ的作用仅仅是用来由已知向量
产生向量
，这不仅可充分利用Ａ的稀疏性，而且对某些提供矩阵Ａ较为困难而由已知向量
产生向量
又十分方便的应用问题是很有益的；
不需要预先估计任何参数就可以计算，这一点不像ＳＯＲ等；
每次迭代所需的计算，主要是向量之间的运算，便于并行化。
5.2.3收敛性分析
将共轭梯度法作为一种迭代法，它的收敛性怎样呢？
这是本节下面主要讨论的问题：
定理５.2.3 如果
而且
，则共轭梯度法至多迭代
步即可得到方程组的精确解。
证明 注意到
蕴含着子空间
的维数不会超过
，由定理５.2.1即知定理的结论成立。
定理证毕
定理5·2·3表明，若线性方程组（5·1·1）的系数矩阵与单位相关一个秩
的矩阵，而且
很小时，则共轭梯度法将会收敛得很快。
定理5·2·4用共轭梯度法求得的
有如下的误差估计
（5·2·5）
其中
证明由定理5·2·1可知，对任意的
，有
记
，则
是常数项为1的
次实系数多项式。
令
为所有常数项为1的次数不超过
的实系数多项式的全体，则由定理5·2·2和引理5·1·1得
其中
是
的特征值。
由Chebyshev多项式逼近定理及Chebyshev多项式的性质，定义在[-1，1]区间上的
次Chebyshev多项式：
是所有常数项为1的次数不超过
的实系数多项式中，在[-1，1]上与“0”的偏差值最小的多项式。
且偏差值为1，对应的交错点组为：
。
因此，多项式
是
中在
上与“0”的偏差值最小的多项式。
即
于是，我们有
因此，定理得证。
定理证毕
虽然定理5·2·5所给出的估计是十分粗糙的，而且实际计算时其收敛速度往往要比这个估计快得多，但是它却提示了共轭梯度法的一个重要的性质：
只要线性方程组（5·1·1）的系数矩阵是十分良态的（即
），则共轭梯度法就会收敛的很快。
升级会员 