MOOC
Intro to TensorFlow for Deep Learning | Udacityをぼんやりと眺める。勾配降下法の最適化アルゴリズムの備忘録 - Qiita 勾配降下法の凄いやつ、くらいに思っとこ。最近はアニメーションで見られて凄い。 ノートにドーナツ描いたりしてた時代は何だったんだ…
機械学習のオンライン講座 - らんだむな記憶から更に1年弱。すぐ飽きちゃう。 そもそも大したマシンがないので学習させるとうぃんうぃんしちゃって発熱も凄い、、、割には計算結果なかなか出ないし色々ダウンロードするとストレージ食うしで・・・。 ふとGoo…
SVMが完了。片手間にやるとなかなか進まないな・・・。 そしてあまり中身を理解しなくてもクイズ？は解けちゃうからなぁ・・・
Naive Bayesは単純ベイズと訳すのか・・・。 ざっくりした仮定で計算するからって感じか。Lesson 2 #39でmini-projectが始まった。そして終わった。次はSVMか。
Lesson 2 #19からして何をせいというのか・・・と思ったがClassifyNB.pyを実装せよってことらしい・・・。レクチャーの通りに分類器を作って返せばいいだけ・・・ pip install numpy scipy matplotlib scikit-learn nltk した環境なら問題なく動いた。 Lesso…
機械学習の講座が完了した - らんだむな記憶でCourseraの学習*1を終えてから随分と時間が過ぎた。ってか3年くらい過ぎてるじゃないか・・・。どんだけモチベーションを失ったんだ、この3年で・・・orz どうやらこれより簡単と思われるものにIntro to Machine…
ud730ネタ。off-the-shelf classifierとしてsklearn.linear_modelを使う。 from sklearn.linear_model import LogisticRegression # でっかいデータセットから1000サンプルだけ訓練データを取り出す。 train_dataset = all_data["train_dataset"] train_labe…
ud730ネタ。 pickle_file = 'notMNIST.pickle' try: f = open(pickle_file, 'wb') save = { 'train_dataset': train_dataset, 'train_labels': train_labels, 'valid_dataset': valid_dataset, 'valid_labels': valid_labels, 'test_dataset': test_dataset,…
ud730ネタ。train_datasetという20万のデータ, valid_datasetという1万のデータ, test_datasetという1万のデータを格納する配列に対して、互いに幾つかのデータの重複があるという想定のもとそれを検出してみたい。 ということで以下のようなコードを書いた…
#! /usr/bin/env python # -*- coding: utf-8 -*- import sys import numpy as np data = np.loadtxt(sys.argv[1], delimiter=",", skiprows=1, usecols = range(8,21)) d = data[:, 3] print len((np.where((d >= 20001) * (d <= 30000) == True))[0]) とか…
なんか統計データを書いたCSVが極めて腐っているのがあったので整形を試みる。 Excelデータがあれなのは仕方ないとして、CSVデータくらい処理しやすいものにしておいて欲しい。"1,234,567" とかセルに書いてあるのはどういうこと！？ 超手抜きだが、整数的な…
とあるMOOCでキャッシュフロー計算書の勉強的なものをしてみる。 お金のはなし(3) - らんだむな記憶でぼんやりと財務諸表は見たものの、見ただけなのでははーほほーひひーという程度だった。所詮その程度の理解でもクリアできる講座だったので楽だったわけだ…
お金のはなし(2) - らんだむな記憶の簿記3級の講座も無事100%で修了。ちょっとあぶないこともあったのでやれやれ。どうも記帳のお約束が頭に入らない<(^o^)> 「現金過不足」のような暫定的な勘定科目を「雑損」などで確定させる時に、借方をキャンセルするた…
お金のはなし - らんだむな記憶で触れたファイナンシャル･プランニングの講座「はじめてのFP FPで学ぶお金の知識」がいつの間にかサービス提供が終了していた...。贈与税とかのテーマに触れていたからpdfだけ回収しとこうかと思ったのだが...。 と思ったらフ…
データサイエンス - らんだむな記憶でやった、まぁぬるいかなという部類の講座だったが、受講状況が掲載されていた 受講登録者数: 7,635 1点以上得点している受講者: 2,124 修了者数: 1,190 修了率: 15.6% 修了者の平均: 82.9% 等々。 まず、1点以上得点して…
お金のはなし - らんだむな記憶で折角FPの勉強をしたので、簿記の勉強もすることにしてみた。《実務・資格講座》はじめての簿記 スッキリわかる日商簿記3級 | gaccoが手軽な講座のように思う。(既にやっているがWeek1 確認テストは100%！) 別にいますぐ起業…
Courseraの講義にhttps://www.coursera.org/learn/theorie-de-galoisというGalois理論の講義がある。がフランス語だ。一応まったく分からんこともないし、新しく出てきた単語もなんとなく文脈から分かるので、頑張ればいけるがやっぱりしんどい。 ということ…
データサイエンス - らんだむな記憶の講座がちょっと退屈だったので、3講座を同時受講することにした。ファイナンシャル･プランニングの講座がその1つだ。 FP技能検定3級を暇つぶしに受けようかと問題集は買ったのに面倒くさくなって受けなかったという過去…
シルバーウィークなので、全力でぶっ飛ばして6週間分を一気に仕上げてみた。いや、もっとじっくり取り組めって話だが...。クイズに1問failした状態なのに気づかず完走したもんだから、99.6%の正解率になってしもた... orz くそー。手を動かさずに本を読むよ…
有名な(？)機械学習のオンライン講座を受講中に詰まる。エラーが起こるのだ。軽くggって修正するとエラーは起こらなくなったが、やはり肝心のグラフのプロット結果が出力されない。困った...。Ubuntu14.04LTS on VirtualBoxなのが問題かも... なんかたまにwa…
ここまでの結果をまとめると、 \begin{align} \begin{cases} \delta_i^{\ell} = \left( (\widetilde{\Theta^{\ell}})^T \delta^{\ell + 1} \right)_i\,\varsigma^\prime(z_i^{\ell}), &2 \le \ell \le L - 1,\ 1 \le i \le s_{\ell + 1} \\ \delta_i^L = a_i…
さて、残しておいた \begin{equation} \delta_i^{\ell} := \frac{\partial J}{\partial a_i^{\ell}} \varsigma^\prime(z_i^{\ell}),\ 2 \le \ell \le L,\ 1 \le i \le s_{\ell} \hspace{5em} (1) \end{equation} は何ですか？ということになる。 なお、$\del…
ニューラルネットワークの損失関数に対してgradient descentを適用することを考える。\begin{equation} J(\Theta) = \frac{1}{m} \sum_{p = 1}^m \sum_{k = 1}^K \mathrm{Cost}(h_\Theta(x^p)_k,\ y^p_k) + R(\Theta) \end{equation} だった(記号が紛らわし…
次に、多層ニューラルネットワークでの多値分類を考える。ネットワークの層の数を$L$として出力層のユニット数を$K$とする。 第$j$層でのユニット数を$s_j$とする。特に$s_L = K$である。 第$j$層での重みを$\Theta^j$とする。 出力層の第$k$ユニットからの…
活性化関数は全部シグモイド関数$\varsigma(\cdot)$としておく。 ネットワークは入力層, 中間層, 出力層の3層構成としておく。 入力層のユニット数を$s_1$, 中間層のユニット数を$s_2$, 出力層のユニット数を1とでもする。 入力を$x = (x_1, \cdots, x_{s_1}…
某Web講義で線型回帰(Linear regression)による推定(predict)とロジスティック回帰(Logistic regression)による分類(classification)、特に二値分類(binary classification)をさらっと流して、ニューラルネットワーク(Neural network)的な話題に突入。 ロジ…
なんやらよく分からんが、学習係数$\theta = (\theta_0, \theta_1, \cdots, \theta_N)^T$と入力データ$x = (1, x_1, \cdots, x_N)^T$に関するhypothesis関数を \begin{equation} h_\theta(x^i) = \theta\cdot x = \sum_{k=0}^N \theta_k x_k^i \end{equation…
normal equation？聞いたことない...。 最小二乗法を適用する場面で、$A \in \mathrm{Mat}(n,\mathbb{R}),\ b \in \mathbb{R}^n$として、2次方程式 \begin{equation} J(x) = |Ax - b|^2,\ x \in \mathbb{R}^n \end{equation} を最小にする$x$を求める方法ら…
