Perplexity はちょっと式がわかりにくいけど\begin{align*} L = - \frac{1}{N} \sum_n \sum_k t_{nk} \log y_{nk} \end{align*}において、$N=1$ と思って、$y_{nk} = p$ と思うと $L= -\log p$ になって、 $e^L = e^{-\log p} = 1/p$ を得るので「確率の逆数…

https://github.com/oreilly-japan/deep-learning-from-scratch-2/blob/84cb914a6469bffcc0ea5302f86df98c453a5767/common/time_layers.py#L7-L36 https://github.com/oreilly-japan/deep-learning-from-scratch-3/blob/06419d7fb2e7ea19aa3719efc27795edbdc…