簡単のため、以下のような分類問題のニューラルネットワークで誤差逆伝播法を考察する。 入力層は $x_1$, $x_2$ の2つの入力を受け取り、隠れ層で活性化関数としてsigmoid関数 $\varsigma$ を適用し、出力層でsoftmax関数で確率をとる。ラベルはone-hotエン…

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装では5章「誤差逆伝播法」において計算グラフを用いつつ、各ノードで“局所的な”偏導関数を求めて連鎖律でつないでいく解説がある。*1この仕組みは実践Pytorch - Qiitaで torch.autogra…