AMSBound
AMSBound
AMSBoundは、AMSGradにおける学習率に上限と下限を加えようとしたものです。
機械学習の最適化手法に関して、Adamは初期の学習が早いもののなかなか収束しない可能性があるという欠点を抱えていました。これを解決しようとした手法がAMSGradですが、大きすぎる学習率を抑制した一方、小さすぎる学習率が問題となりAdamとほぼ同程度の精度になってしまいました。ちなみに、Adamに同じような制限を加えたものがAdaBoundです。
特別割引クーポンのお知らせ
