次に、多層ニューラルネットワークでの多値分類を考える。ネットワークの層の数を$L$として出力層のユニット数を$K$とする。 第$j$層でのユニット数を$s_j$とする。特に$s_L = K$である。 第$j$層での重みを$\Theta^j$とする。 出力層の第$k$ユニットからの…

活性化関数は全部シグモイド関数$\varsigma(\cdot)$としておく。 ネットワークは入力層, 中間層, 出力層の3層構成としておく。 入力層のユニット数を$s_1$, 中間層のユニット数を$s_2$, 出力層のユニット数を1とでもする。 入力を$x = (x_1, \cdots, x_{s_1}…