Now Loading...

Now Loading...

ADAM

ADAM

ADAMはモーメンタムとRMSpropを混合させたような最適化アルゴリズムです。

パラメータの更新式は画像に示す通りであり、mはモーメンタムに用いられているような速度に関する項、vはRMSpropに用いられている勾配の二乗和に関する項です。これによって勾配の小さい方向にもスムーズに更新が可能で、少なくとも学習が進むため、最初に試す場合により適しています。

クイズ

SGD(確率的勾配降下法)よりも効率的な最適化手法として,多くのアルゴリズムが考えられている.学習率の減衰とモーメンタムの考え方を組み合わせた手法として,最も適切な選択肢を一つ選べ.
  • 正解を見る
  • 解説を見る
    モーメンタムは,勾配方向に力を受けて加速するような動きでパラメータを更新する手法です.また,単純なSGDに学習率の減衰を取り入れた手法がAdaGradです.この二つのアイデアを組み合わせた手法がAdamです.また,AdaGradでは学習を無限に進めていくと更新量が0になるという問題を改善した手法がRMSPropです.

特別割引クーポンのお知らせ

<人工知能基礎&G検定実践問題集>

・クーポン:aibgt220920-2bso
・有効期間:2022年10月21日(金)

*使い方:以下バナーより「購入する」に進んでいただき、左下のクーポン欄にご記入、適用してください。

zero to one G検定 jdla

<G検定実践トレーニング>

・クーポン:gt220920-1dao
・有効期間:2022年10月21日(金)

*使い方:以下バナーより「購入する」に進んでいただき、左下のクーポン欄にご記入、適用してください。

zero to one G検定 jdla