Table of Contents

1. 牛顿法
2. 拟牛顿法的思路
3. DFP算法
4. BFGS算法
5. Broyden算法

牛顿法

将f(x) 在 处附近进行二阶泰勒展开，并令其一阶导数为0，求的

拟牛顿法的思路

在牛顿法的迭代过程中，需要计算海塞矩阵的逆矩阵，计算复杂，考虑用n阶矩阵来近似替代。 每次迭代选择更新矩阵 $G_k+1$：

DFP算法

可以证明，若初始矩阵 是正定的，则在迭代过程中的每个矩阵 都是正定的。

BFGS算法

最流行的拟牛顿算法 可以证明，若初始矩阵 是正定大的，则迭代过程中的每个矩阵 都是正定的。

Broyden算法