Jensenの不等式 - らんだむな記憶で触れたカルバック・ライブラー情報量について特定の確率分布の時に計算してみたい。PRML の 1.6. Relative entropy and mutual information にて relative entropy 或いは Kullback-Leibler divergence という名で知られる…