どんどんと準備を進める。とりあえず [4] pp.10-14 あたりと [3] pp.14-15, pp.61-62 あたりを参考に確率変数の独立性を導入する。[5] も適宜参照する。
確率空間
$\Omega$ が集合、$\F$ を $\Omega$ の部分集合からなる $\sigma$ 加法族、$P$ を $\F$ 上の確率測度とする時、$(\Omega,\F,P)$ を確率空間と呼ぶ。この空間から可測空間 $(\R,\mathcal{B}(\R))$ への可測函数 $X$ が与えられた時、これを確率変数と呼ぶ。この時、$(\R,\mathcal{B}(\R))$ 上へ像測度 $P^X(\cdot) = P(X^{-1}(\cdot))$ を定めることができ、これを $X$ の分布と呼ぶ。
平均値 (期待値)
$X: \Omega \to \R$ を確率変数とする時、
\begin{align}
E[X] = \int_\Omega X(\omega) P(d\omega) = \int_\R x P^X(dx)
\end{align}
を $X$ の平均値 (期待値) と呼ぶ。
確率変数の独立性
$X,Y: \Omega \to \R$ を確率変数とする。この時 $X$ と $Y$ が独立であるとは、任意の $A,B \in \mathcal{B}(\R)$ に対し、
\begin{align}
P^{(X,Y)}(A,B) = P^X(A)P^Y(B)
\end{align}
が成立する時を言う。書き換えると
\begin{align}
P(X \in A, Y \in B) = P(X \in A)P(Y \in B)
\end{align}
ということである。
確率密度函数
$F_X(x) = P(X \leq x)$ を確率変数 $X$ の累積分布函数と呼ぶ。この時、$f_X: \R \to \R$ なる可積分函数が存在して
\begin{align}
F_X(x) = \int_{-\infty}^x f_X (t) dt,\quad x \in \R
\end{align}
を満たす時、$f_X$ を $X$ の確率密度函数と呼ぶ。特に、 $A \in \mathcal{B}(\R)$ に対して
\begin{align}
P(X \in A) = \int_A f_X (t) dt
\end{align}
を満たす。
正規分布
確率変数 $X$ が正規分布 $N(\mu,\sigma^2)$ に従うとは、$X$ の確率密度関数が
\begin{align}
f_X(x|\mu,\sigma^2) = \frac{1}{\sqrt{2\pi} \sigma} \exp \left\{ - \frac{(x-\mu)^2}{2\sigma^2} \right\},\quad x \in \R
\end{align}
である時を言う。
次に 2 つの確率変数 $X,Y:\Omega \to \R$ に対して、 $X \in A, Y \in B$ の確率が密度函数 $f_{X,Y}$ によって表される場合の $X$ と $Y$ の独立性について述べる。
確率変数の独立性 (密度函数表記の場合)
$f_{X,Y}: \R^2 \to \R$ なる可積分函数が存在して、任意の $A,B \in \mathcal{B}(\R)$ に対して
\begin{align}
P(X \in A, Y \in B) = \int_B \int_A f_{X,Y} (x,y) dxdy
\end{align}
と書けるとする。$f_X(x) = \int_\R f_{X,Y} (x,y)dy$, $f_Y(y) = \int_\R f_{X,Y} (x,y)dx$ を周辺確率密度函数として、
\begin{align}
f_{X,Y} (x,y) = f_X(x)\,f_Y(y)
\end{align}
が任意の $x\in \R,\ y \in \R$ に対して成立する時 $X$ と $Y$ は独立であると言う。
特に最初の定義に戻って考えると、$P(X \in A) = \int_A f_X(x) dx$, $P(Y \in B) = \int_B f_Y(y) dy$ であるので、定義より
\begin{align}
\int_B \int_A f_{X,Y} (x,y) dxdy = \left( \int_A f_X(x) dx \right) \left( \int_B f_Y(y) dy \right) = \int_B \int_A f_X(x)\,f_Y(y) dxdy
\end{align}
が従い、密度函数表記が可能である場合の定義が自然に出る。
また、 $X$ と $Y$ が独立である場合、有界な可測函数 $g$ と $h$ に対して
\begin{align}
E[g(X) h(Y)] = E[g(X)] E[h(Y)]
\end{align}
が成立する。これは後ほど $t \in \R$ に対して $g(x) = h(x) = \exp (i t x)$ と置いて、確率変数の特性函数の平均値を求める場合に利用することになる。
