確率論は重要だ。色んな応用がある。機械学習的なナニも基本となる数理は確率・統計だ。
そんな確率論だが、なに、あれは測度論だ。Lebesgue積分のような測度論は大学の2回生くらいで習うから、ある意味細かいことは抜きにして、確率論はそんなに難しいものじゃないし、解析学の仲間じゃないか。
と思っていた。大分長く思っていた。
伊藤清先生の有名な岩波の分冊からこっそり序文を引用しよう。
空間の点は3実数の組であらわされるから、空間図形の幾何学的性質はすべて実変数に関する式であらわされる。したがって代数や解析の知識があれば、図形の性質は論理的には正しく理解できる。しかし幾何学を建設していくには代数や解析の知識だけでは不十分で、図形を直観的に把握しなければならない。確率論の場合も同様である。現代の確率論は、測度論の言葉で叙述することによって論理的には完全に解析学の一分野となっている。しかし確率論を真に楽しむためには、確率現象に対する直観的理解を背景として確率論の発展方向を見きわめなければならない。
ふーん。てなもんであるが、実に確率論の、まさに確率論の専門家の言葉だなといまでは思う。
実に確率論は特殊な存在のようにここ数年は感じている。数学でありながらまるで物理のように、式に単位が絡みこんでくるように、理論の確率的な意味合いが絡みこんでいるように思う。意味を無視してただの測度論として扱うと何も得られない。
大数の弱法則その1
サイコロを振ることを考える。
$P$を確率測度とする。$X_j$を$j$回目のサイコロの目が1の時に値1をとり、それ以外で値0となる確率変数とする。$S_n = \sum_{j = 1}^{n}X_j$とする。
この時、任意の$\varepsilon > 0$に対して、
\begin{equation}
\lim_{n \to \infty} P \left(\left| \frac{S_n}{n} - \frac{1}{6} \right| > \varepsilon\right) = 0
\end{equation}
が成立する${}_\square$
証明は、Chebyshevの不等式というやつでさくっとなされる。本当にさくっとなされる。びっくりするくらい簡単に証明が完了する。
この定理は何を意味するか？沢山サイコロを振ったら、そのうち大体1/6くらいは1の目が出るということだ。これが数学的に説明できた。とある。
なんだ簡単じゃないか！
これが甘かった。けっこうさらっと流してくれる本があるが、これ無茶苦茶奥が深いじゃないかと何回目かの確率論の教科書流し読みで気が付いた。
これはもう少しシッカリ書かれる場合に以下のような雰囲気に変わる。
大数の弱法則その2
$\Omega$を集合とし、$\mathcal{F}$を$\Omega$上の完全加法族とする。$P$を$\{\Omega,\mathcal{F}\}$上の確率測度とする。$\{\Omega,\mathcal{F},P\}$を確率空間と呼ぶ。
$\{X_j\}_{j = 1}^\infty$を$\{\Omega,\mathcal{F}\}$の独立同分布を持つ確率変数の族とする。
$E[X_1^2] = \int_\Omega X_1(\omega)^2 P(d\omega) < \infty$とする。$S_n = \sum_{j = 1}^{n}X_j$とする。
この時、任意の$\varepsilon > 0$に対して、
\begin{equation}
\lim_{n \to \infty} P \left(\left| \frac{S_n}{n} - E[X_1] \right| > \varepsilon\right) = 0
\end{equation}
が成立する${}_\square$
あぁ、抽象化したのか。またChebyshevだな(笑)
であれば、その2のほうが汎用性が高いから、これだけ覚えておけばいいよね！
...でこの時の$\Omega$って何？無限個の確率変数を考えるんだから、無限回の試行の確率空間だな！はい、パチパチパチ！
え？$P \left(\left| \frac{S_n}{n} - E[X_1] \right| > \varepsilon\right)$って$\Omega$で考えた場合の$n$回目までの試行から導かれる確率だけど、でもこの空間って無限回の試行の空間だよ？$n + 1$回目以降の試行の情報がないと意味がなくね...？
と考えた時、あぁ、これは... 地獄が待っているなという気がした。
そもそも、大学2回生で習う測度は$\mathbb{R}^n$という有限次元空間上の測度なのに、いま出てきている$P$は無限試行の空間、つまり無限次元空間上の測度ではないか、と。
