Kaiming He の初期化

畳み込み層の重みの初期化のテクニックっぽい。

torch.nn.init — PyTorch 1.11.0 documentation の

torch.nn.init.kaiming_uniform_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')

が利用できそう。使い方とかは

• python - How to initialize weights in PyTorch? - Stack Overflow
• Initializing pytorch layers weight with kaiming | Kaggle
• 深層強化学習ライブラリmachinaを使ってみた - Qiita
• 深層強化学習ライブラリmachinaを使ってみた - Qiita

あたりが参考になりそう。たぶん。

論文は: [1502.01852] Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification