一日一分のE資格問題にチャレンジ！本日のお題は「ドロップアウト」
問題
[問題]
以下のうち、ドロップアウトについて誤っているものはどれか。
(A) ドロップアウトは、訓練時に一定割合でランダムにユニットを消去することで、ニューラルネットワークの複雑さを抑え、過学習を防ぐ効果がある。
(B) 予測時はユニットがすべて存在した完全なネットワークを用いるが、各ユニットの出力には訓練時のユニットを消去した割合を掛ける。
(C) ユニットを消去する割合は定数として与えるものであり、ハイパーパラメータである。
(D) ドロップアウトの予測結果を複数のネットワークのアンサンブル平均と解釈した場合、各ネットワークはパラメータを共有していると考える。
答え
B
解説
ドロップアウトは、ディープラーニングの正則化テクニックの1つです。このテクニックでは、ニューラルネットワークの訓練時に一部のユニットをランダムに消去することで、過剰適合（オーバーフィッティング）を抑制します。この消去する割合は定数として与えるハイパーパラメータです。したがって、(A), (C)は正しい記述です。
ドロップアウトは、ディープラーニングの訓練時に適用し、予測時には適用しません。そのため全てのニューロンが活性化状態のままとなるため、訓練時と予測時の出力の「濃度」が異なることになります。そこで予測時には各ユニットの出力にユニットを消去しなかった割合（ユニットを消去した割ではない）を一律で掛けます。したがって、(B)は誤った記述です。
また、ドロップアウトの予測結果を複数のネットワークのアンサンブル平均と解釈する場合があり、アンサンブル学習アルゴリズムのひとつであるバギングとよく対比されます。両者で異なる点の一つとしてバギングでは各モデルが独立ですが、ドロップアウトでは各モデルはパラメータを共有することが挙げられます。したがって、(D)は正しい記述です。
E資格の勉強方法はコチラも参考にしてみてください。
コメント