ディープラーニングにおいて、鞍点問題などの停滞を防ぐための最適化手法が次々に考案されてきました。1990年代に考案されたのがモメンタムで、そこから効率的な適応的学習率手法としてAdaGradが登場しました。AdaGradの「学習が進むにつれて学習率が急速に低下（枯渇）する」という問題を解決するため、勾配の二乗を累積和ではなく指数移動平均（移動平均）で扱うことで改善したのがRMSPropです。さらに、RMSPropの次元不整合（勾配と更新量のスケール違い）を解消し、学習率パラメータ自体を不要にしたのがAdadeltaで、ほぼ同時期に独立に提案されました。その後、モメンタムとRMSPropを組み合わせたAdamが登場し、より安定・高速な学習を実現するなど、新しい手法ほど効率化が進んでいます。 （分野：ディープラーニングの概要） （参考: G検定公式テキスト 第3版，p.99,168,171,173,186,187,189,191,193）