共轭梯度法：
设为n维矢量，假设优化准则函数为二次函数：，其中为的正定对称矩阵。
如果两个矢量满足，则称它们关于矩阵互为共轭。在n为空间中存在互为共轭的n个矢量，并且它们是线性无关的。
证明沿共轭方向可以在n步之内收敛于极值点
共轭方向算法：
1、 初始化起始点，一组共轭矢量，；
2、 正则化共轭梯度法计算和，使得：
3、 转到2，直到k=n-1为止。
定理：对于正定二次优化函数，如果按照共轭方向进行搜索，至多经过n步精确的线性搜索可以终止；并且每一个都是在和方向所张成的线性流形中的极值点。
证明：令为第i步的梯度，即：，上述定理实际上只需证明对，即可，因为正交于，则正交于它们所张成的线性流形，包含在此线性流形中，因此在此线性流形中的梯度为0，即为在线性流形上的极值点。当时，所张成的线性流形即为整个n维空间，只有当时，才有成立，因此为极值点。
梯度，因此两次迭代之间梯度的差值矢量为：
对于:
   
因为是沿着方向搜索的极值点，因此，而互为共轭，所以有，因此：
上述定理得证。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。