statistics
ある数列の収束 (1) - らんだむな記憶 で証明した補題を使って以下の定理を示したい。 Theorem ある実数列 $\{a_n\}_{n=1}^\infty$ が与えられていて、ある実数 $\alpha$ に対して $a_n \to \alpha\ (n \to \infty)$ を満たしているとする。この数列と $0 \b…
データ分析のための統計学入門 深層学習 · 深層学習
朝倉書店｜ 瀕死の統計学を救え！ ―有意性検定から「仮説が正しい確率」へ― Don't Say “Statistically Significant” これと関連して、p値については仮説検定 - らんだむな記憶でも触れていたけど、考えるほどに本当に難しいなぁと思う。 \begin{align} P \le…
$X_1, \cdots, X_n \sim N(\mu,\sigma^2)$ i.i.d. とする。この時 $Y = \frac{(n-1)s^2}{\sigma^2}$ が $Y \sim \chi_{n-1}^2$ であることを確認することが最後の課題であった。ところで、 $Y$ は \begin{align} Y = \sum_{k=1}^n \frac{(X_k - \bar{X})^2}{…
大分終盤であるので、ここで [1] p.201, [2] p.114 を眺める。標本平均の分布を考えるにあたって母分散が未知の場合に t 分布が登場する。$X_1, \cdots, X_n \sim N(\mu,\sigma^2)$ i.i.d. とする。この時、統計量 $\frac{\bar{X} -\mu}{\sigma/\sqrt{n}}$ …
次に確率変数の和に関連して分布の再生性について扱う。[3] p.73 の命題 4.20 を利用することになる。 $X,Y$ を独立な確率変数とする時 $Z = X+Y$ とおくと \begin{align} E[\exp(it Z)] = E[\exp(it (X+Y))] = E[\exp(it X)] E[\exp(it Y)] \end{align}とな…
不偏分散 $s^2$ が従う確率分布はカイ 2 乗分布になるので、それを見るための準備をする。このために [3] p.45 の命題 3.15 を利用する。確率変数 $Z$ が標準正規分布 $N(0,1)$ に従う時 $Z^2$ が自由度 1 のカイ 2 乗分布 $\chi_1^2$ に従うという主張であ…
t 分布が典型的にどこで出てくるかと言うと、[1] p.201 にあるようにある母集団から標本を抽出した場合に、母分散が未知の場合に標本平均の標本分布を扱おうとする場合に出てくる。母分散が不明なので、標本分散としての不偏分散 \begin{align} s^2 = \frac{…
どんどんと準備を進める。とりあえず [4] pp.10-14 あたりと [3] pp.14-15, pp.61-62 あたりを参考に確率変数の独立性を導入する。[5] も適宜参照する。 確率空間 $\Omega$ が集合、$\F$ を $\Omega$ の部分集合からなる $\sigma$ 加法族、$P$ を $\F$ 上の…
結局 t 分布とは何なのかを気の赴くままに追いかけてみたい。大体共通して出てくるであろうツールとしては「正規分布に独立に従う確率変数の和は再び正規分布に従う」といったもののように思われる。その前に [1] p.162, [4] p.47 を参考に独立同分布な確率…
初めてのベイズ学習 ざっと解説してくれている良さそうなページがある。
Jensenの不等式 - らんだむな記憶で触れたカルバック・ライブラー情報量について特定の確率分布の時に計算してみたい。PRML の 1.6. Relative entropy and mutual information にて relative entropy 或いは Kullback-Leibler divergence という名で知られる…
Real Analysis: Modern Techniques and Their Applications (Pure and Applied Mathematics: A Wiley Series of Texts, Monographs and Tracts)の Exercise として出てくるからまぁ一応実解析的なトピックスなのかな？ イェンセンの不等式 - Wikipediaの参考…
$(x_j, t_j) \in \R^2,\ 1 \leq j \leq N$ の $N$ 個のデータがあるとして、直線 $y = \alpha x + \beta$ で近似したい。内容的には統計勉強ノート(3) - らんだむな記憶で端折った部分である。最小二乗法を使うとすると、問題は \begin{align} \mathop{\rm a…
何年もかかったけど、漸くそれっぽい講座を一通り受講し終わった・・・気がする。でも普段使わないから結局毎回内容を忘れてしまうし頭にも入らない。そして、大抵は適当に gg って numpy に放り込んだり scikit-learn を通して終わってしまう。 統計学Ⅰ：デ…
相関と回帰係数 - らんだむな記憶で始めた「ga082 統計学Ⅲ:多変量データ解析法」の内容を一通り見た。成績は 96% ということになる。 マークシートみたいなもんだから単語を見間違えてハマってしまったりする・・・。 それにしても因子分析の本は手元にはな…
ga082 統計学Ⅲ:多変量データ解析法が始まったものの、どうも統計学の内容はすぐ忘れる・・・。 新シリーズ第1回「相関と回帰係数の落とし穴」とか見つつ取り組んでみる・・・ Week 1は1問間違えた・・・。が、そういえば問題に対する解説がないので、何を見…
改訂版 日本統計学会公式認定 統計検定2級対応 統計学基礎のpp.39-45が感覚的にちょっと役に立ちそう。正直統計学は要らなかったかなと思ったけど、どんなデータが来るか分からんしやっておいて損はないのかもしれない。 って、なんかLESSON9 Introduction t…
統計検定 1 級に合格する方法 - Qiita ふむふむ。 現代数理統計学 現代数理統計学の基礎 とかがいいのかな？やばいくらいモチベーションないけど。 何のモチベーションも興味もわかないことであって勉強できるスキルが欲しい・・・。そして年齢と共に急速に…
なぜ機械学習にPythonが選ばれるのか - Qiita Rねぇ・・・。
Elements of Statistical Learning: data mining, inference, and prediction. 2nd Edition. そんなに難しくないって説明あったけど、700ページ以上あるじゃないか・・・
\begin{equation} P(B,C|A) = P(B|A)P(C|A) \overset{?}{\Longrightarrow} P(B,C|A^c) = P(B|A^c)P(C|A^c) \end{equation} はダメだな。 確率空間$\Omega$を2つのサイコロX,Yの目全体のなす集合とし、$B$をサイコロXの目が1の事象, $C$をサイコロYの目が1の…
ベイズ更新を考える - らんだむな記憶以来、任意の事象$A$に対して、 \begin{equation} P(B,C) = P(B)P(C) \overset{?}{\Longrightarrow} P(B,C|A) = P(B|A)P(C|A) \end{equation}が気になっていた。 確率空間$\Omega$を2つのサイコロX,Yの目全体のなす集合…
ある事象$X$の確率に興味があるとする。それと関連し、事象$A,B,C,\cdots$があるとし、またこれらは$X,X^c$に関して条件付き独立であるものとする。即ち、 $P(A,B|X)=P(A|X)P(B|X),\ P(A,B|X^c) = P(A|X^c)P(B|X^c)$などが成立するとする。 例えば、$X$は「…
https://github.com/statsmodels/statsmodels/blob/master/statsmodels/regression/linear_model.py#L2087かな。 これを参考に自分で整形すれば好きな表示にできるはず。実際には、https://github.com/statsmodels/statsmodels/blob/master/statsmodels/ioli…
こんなんでいけたがえらい手こずった...。 #! /usr/bin/env python # -*- coding: utf-8 -*- import numpy as np import pandas as pd import matplotlib import matplotlib.pyplot as plt import statsmodels.api as sm font = {'family' : 'TakaoGothic'} …
大数の法則と中心極限定理(2) - らんだむな記憶から。 $X_j$を独立同分布の確率変数とする。$X_1$の期待値を$\mu$とし分散を$\sigma^2$とする。 $S_n = \sum_{j=1}^n X_j$とおくと、以下が成立する。 $$P \left(a \le \frac{S_n - n\mu}{\sqrt{\sigma^2 n}} …
pandasとか - らんだむな記憶で折角入れたので使ってみた。 すげー。こういう時代なのか...。もう憑いていけない...。 #! /usr/bin/env python # -*- coding: utf-8 -*- import numpy as np import pandas as pd import matplotlib.pyplot as plt df = pd.re…
統計勉強ノート(2) - らんだむな記憶から大分経った。 ので、決定係数を丸暗記してみる。 まず、データセット$\{x_j,y_j\}_{1 \le j \le n}$があるとする。 $\widehat{y}_j = \widehat{\alpha} + \widehat{\beta} x_j$とおいた時にうまく$y_j$に近くなるよう…
ぱんださんにしか見えないが... Python Data Analysis Libraryの略なのかぁ。 $ sudo easy_install --upgrade numpy でnumpyをアップデートして $ sudo easy_install pandas すれば良いみたい。 $ top -d 1 で見ているとコンパイルとかしていて頑張っている…
