交差エントロピー

ニューラルネットワーク (3) - らんだむな記憶で記載した
\begin{equation}
\mathrm{Cost}(h_\Theta(x)_k,\ y_k) = -y_k \log(h_\Theta(x)_k) - (1 - y_k)\log(1 - h_\Theta(x)_k),\ 1 \le k \le K
\end{equation}
のようなやつは交差エントロピー(cross entropy)と呼ぶんだな。
まぁ、確かに、情報理論のエントロピー $-p \log p$ みたいなやつががっちゃんこしていて、$y_k \in \{0,\ 1\}$がどっちの値をとるかで片方だけが生き残る形していて、crossっぽいのか。
良い仮説(hypothesis)関数をとることで、うまく二値分類できていると考える場合には、$p = h_\Theta(x)_k \approx y_k$が成立していて、生き残る項を$p$で表現すると $\approx -p \log p \approx 0$か$\approx -(1-p) \log (1-p) \approx 0$ということで、entropy な感じになっていると。