らんだむな記憶

blogというものを体験してみようか!的なー

誤差逆伝播法について再び考えてみる(5)

$t = (t_1, t_2) = (0, 1)$ の場合の計算についても簡単に確認する。

  • $\frac{\del E}{\del y_1} = - \frac{\log(y_2)}{\del y_1} =- \frac{\log(1 - y_1)}{\del y_1} = \frac{1}{1 - y_1}$

であるので、 $\frac{\del E}{\del y_1} \frac{\del y_1}{\del \gamma_1} = \frac{1}{1 - y_1} y_1(1 - y_1) = y_1 = y_1 - 0 = y_1 - t_1$, $\frac{\del E}{\del y_1} \frac{\del y_1}{\del \gamma_2} = - (y_1 - t_1)$ となる。
よって、結局は
\begin{equation}
\frac{\del E}{\del w_{11}^{(1)}} = (y_1 - t_1) (w_{11}^{(2)} - w_{12}^{(2)}) \varsigma(\alpha_1) \left( 1-\varsigma(\alpha_1) \right) x_1
\end{equation}

を得ることになる。

また、これらの式から重みの初期値を0にしてしまうと $\frac{\del E}{\del w_{11}^{(1)}} = 0$ となってしまい勾配が消えるので学習が進まないことが想像される。