1日1分 E資格問題 No.6「モーメンタム」

一日一分のE資格問題にチャレンジ！本日のお題は「モーメンタム」

問題

[問題]
以下のうち、モーメンタムについて正しいものはどれか。

モーメンタム（Momentum）は、確率的勾配降下法（SGD）の派生手法の一つです。モーメンタムは、SGDの収束性を改善し、学習速度を向上させるために導入されました。

通常のSGDでは、勾配に基づいてパラメータを更新する際に、一定の学習率ηを使用します。しかし、SGDは勾配情報だけに基づいて更新を行うため、逐次的な更新が行われることが特徴です。これにより、学習プロセスが不安定になる場合があります。

モーメンタムは、物理学の概念である「運動量」に基づいています。パラメータの更新時に、直前の更新量を参考にしながら勾配を考慮することで、更新の方向を一定程度保持します。これにより、学習プロセスがスムーズになり、収束性や学習速度の改善が期待できます。

モーメンタムにおけるパラメータθの更新式は以下の通りです。

αはモーメンタム係数、ηは学習率を表します。したがって、(A)が正しい記述です。

尚、学習率ηはパラメータの更新の大きさを制御し、モーメンタム係数αは直前の更新量の影響度を調整します。これらの値を適切に設定することが、モーメンタムの性能を最大限に引き出すために重要です。

E資格の勉強方法はコチラも参考にしてみてください。