E資格問題にチャレンジ！本日のお題は「ResNet」
問題
[問題]
以下のうち、ResNetについて誤っているものはどれか。
(A) ResNetはショートカット接続と呼ばれる機構の導入により、深いネットワークでも勾配消失問題を軽減することができる。
(B) ResNetは複数の畳み込み層とショートカット接続から構成される「残差ブロック」を積み重ねて深いネットワークを構築する。
(C) Bottleneckアーキテクチャは計算負荷を減らし、モデルの効率性を高めることができるため、特に非常に深いネットワークにおいて重要である。
(D) ResNetはネットワークを深くするにつれて、表現力と汎化性能を向上させることができる。
答え
D
解説
ResNet（Residual Network）は、ディープラーニングの畳み込みニューラルネットワーク（CNN）の一種です。ResNetは、Microsoft Researchが2015年に提案したモデルであり、ILSVRC（ImageNet Large Scale Visual Recognition Challenge）などの画像認識のコンペティションで非常に優れた性能を発揮しました。
ResNetの特徴的な点は、残差学習（residual learning）という考え方です。通常のニューラルネットワークでは、層を深くすると勾配消失問題が生じ、学習が困難になる傾向があります。勾配消失問題は、層が深くなるにつれて勾配が逆伝播する際に徐々に減衰し、層の初めの方にほとんど影響を与えなくなる現象です。
ResNetでは、ショートカット（スキップ）接続と呼ばれる機構を導入することで、勾配消失問題を軽減します。ショートカット接続は、特徴マップが畳み込み層を通過する際に、そのまま後続の層に接続される仕組みです。つまり、情報は直接前の層にフィードバックされることになります。この接続により、勾配が層を通過する間に徐々に消失せず、情報がスムーズに伝播されます。これにより、深いネットワークでも勾配消失問題を軽減することができます。したがって、(A)は正しい記述です。
ResNetの基本的なブロックは「残差ブロック（residual block）」と呼ばれます。残差ブロックは、2つの畳み込み層とショートカット接続から構成されます。通常、残差ブロック内の畳み込み層は3×3のカーネルサイズを持ち、同じ次元の特徴マップを出力します。したがって、(B)は正しい記述です。
Bottleneckアーキテクチャでは1×1と3×3の畳み込み層で次元を小さくしてから、最後の1×1の畳み込み層で次元を復元します。入力データの次元を削減してから増加させることにより、計算負荷を減らし、モデルの効率性を高めることができるため、特に非常に深いネットワークにおいて重要です。したがって、(C)は正しい記述です。
ResNetでは、これらの残差ブロックを積み重ねて深いネットワークを構築できます。これにより、より高度な特徴表現を学習することができ、画像認識などのタスクで高い性能を発揮します。
一方で層が深くなるにつれてネットワークの表現力が向上しますが、同時にパラメーターの数も増え、過学習のリスクが高まるという課題があります。したがって、(D)は誤った記述です。
E資格の勉強方法はコチラも参考にしてみてください。
コメント