らんだむな記憶

blogというものを体験してみようか!的なー

ゼロつく 2 (7)

Perplexity はちょっと式がわかりにくいけど

\begin{align*}
L = - \frac{1}{N} \sum_n \sum_k t_{nk} \log y_{nk}
\end{align*}

において、$N=1$ と思って、$y_{nk} = p$ と思うと $L= -\log p$ になって、 $e^L = e^{-\log p} = 1/p$ を得るので「確率の逆数」みたいな感じになっている。

一般のケースでも $- \frac{1}{N} \sum_n \sum_k t_{nk} \log y_{nk} = - \frac{1}{N}(\log y_{1,k_1} + \cdots + y_{n,k_n}) = - (\log y_{1,k_1}^{1/N} + \cdots + \log y_{n,k_n}^{1/N})$ みたいな項だけが生き残るので、$e^L = \left(\frac{1}{y_{1,k_1} \cdots y_{n,k_n}}\right)^{1/N}$ という相乗平均の形になる。

ちょっと駆け足で p.222 まで完了。