らんだむな記憶

blogというものを体験してみようか!的なー

情報理論

情報理論 改訂2版 | Ohmsha
おぉ・・・噂の本の改訂2版が・・・。「7.4 ガロア体」・・・うゎー・・・。 $\mathbb{F}_p = \Z/p\Z$ くらいでお手柔らかにお願いしたいところ。
とりあえずは筑摩書房 情報理論 / 甘利 俊一 著が読みやすくて良し。$-\log p$ を情報量、情報量の期待値 $H(p_1,\cdots,p_n) = - \sum_{j=1}^n p_j \log p_j$ をエントロピーと呼ぶことを覚えておくと色々役に立つ印象。