SGDは，日本語では確率的勾配降下法とよばれる．勾配を用いてパラメータ更新する点は、最急降下法と同じだが，全データではなく1つのデータをサンプルとして用いることが特徴である． これにより，サンプルを確率的に選ぶ際にランダム性が生まれ，局所最小解からの脱却を可能にした．   モメンタム（Momentum）は、勾配情報の更新に速度の概念を導入したアルゴリズムです。 これにより、最適値が遠い場合に更新量を大きくし、近くなったら更新量を小さくすることが可能になりました。   Adamは、モメンタムとRMSpropを組み合わせたようなアルゴリズムです。 これにより、勾配の小さい方向にもスムーズに学習が進むようになりました。   Nesterov Accelerated Gradient (NAG)は、モメンタムの改良版です。モメンタムと比較して、収束を加速しつつ振動を抑え、より効率的に最適解に到達することができます。