特徴量の次元を低下させるとか(3) - らんだむな記憶の続き。 「元データの情報を極力壊さずに次元を低下させたい」⇒「$\mathcal{V}_k$がそのような空間」を検証したい。 Amazon.co.jp： Pattern Recognition and Machine Learning (Information Science and …

ニューラルネットワーク (3) - らんだむな記憶で記載した \begin{equation} \mathrm{Cost}(h_\Theta(x)_k,\ y_k) = -y_k \log(h_\Theta(x)_k) - (1 - y_k)\log(1 - h_\Theta(x)_k),\ 1 \le k \le K \end{equation} のようなやつは交差エントロピー(cross ent…

特徴量の次元を低下させるとか(2) - らんだむな記憶で大分視覚的な雰囲気をつかんだので、後はロジックを追いかけたい。$(x_1,\ \cdots,\ x_m),\ x_n \in \mathbb{R}^d,\ 1 \le n \le m $を特徴量のデータとし、$\frac{1}{m}\sum_{n = 1}^m x_n = 0$とする。…

自動リンクを止める（自動リンク停止記法） - はてなダイアリーのヘルプを使えば良いようだ。 \Sigmaとか使うと自動リンクが生成されてしまい、MathJaxと組み合わせて使っても$\sigma$も$\Sigma$も出せないという悲しい状態で、標準偏差やなんやらが記述しに…

特徴量の次元を低下させるとか - らんだむな記憶の続き。 3D->2Dを試してみる。といっても適当にやっているので、うまくできているんだか...。考え方としては、 (1)データの平均が原点になるように調節。スケールはどうでもいいので、標準偏差で割るとかはし…

octave遊び。 PCAを使った特徴量の次元の低下について、やはり色々分かりにくいので図示。 2D->1Dくらいしかまだやり方分からないから(octaveでまだうまく平面を図示できない...)、しょっぱいけど以下のような感じで。 特徴量ベクトルを3点とって(X)、描画(…

某講座の、特徴量をPCAを用いて次元を減らすとかいう感じの部分の考察。 特徴量に一番フィットする超平面に射影して落とすイメージに見えるが、特異値分解で得た固有ベクトルで張られる線型空間(ベクトル空間)に射影しているように感じるので、そうなると、…

octave遊び。対称正定値行列をeig()関数で対角化してみる。 理論上は直交行列で対角化できる、はず。 >> A = [5 2;2 5] A = 5 2 2 5 >> [V, lambda] = eig(A) V = -0.70711 0.70711 0.70711 0.70711 lambda = Diagonal Matrix 3 0 0 7 >> V'*lambda*V ans = …

シルバーウィークなので、全力でぶっ飛ばして6週間分を一気に仕上げてみた。いや、もっとじっくり取り組めって話だが...。クイズに1問failした状態なのに気づかず完走したもんだから、99.6%の正解率になってしもた... orz くそー。手を動かさずに本を読むよ…

特異値分解 - Wikipediaというのがあるようだ。 なんか知らんけど、行列におけるスペクトル分解的なやつは実用上で大活躍のようだ。よく知らんけど。函数解析におけるコンパクト作用素は有限次元ベクトル空間上の行列の宜しい拡張に相当していて、色々似通っ…

というネタを定期的に見る。 別にしてもしなくてもいいと思う。できるならできたほうがいいかもしれない。 「なぜ絵を描くのか」としてみると、描いても描かなくてもいい。絵がうまいならうまいほうがいいかもしれない。絵がうまいと可能性は広がって選択肢…

というのがあるらしいのだが、なんと言うことだか... 知らん。「Bergmanの再生核」というやつは昔どこで見たのか知らないけど、たぶん20年前くらいからその名前だけ知っている。どこで見たんだろう？ とりあえず手持ちの本で再生核への言及があるのは2冊で、…

有名な(？)機械学習のオンライン講座を受講中に詰まる。エラーが起こるのだ。軽くggって修正するとエラーは起こらなくなったが、やはり肝心のグラフのプロット結果が出力されない。困った...。Ubuntu14.04LTS on VirtualBoxなのが問題かも... なんかたまにwa…

The prince of darkness はなかなかダークな終わりかたをしたが(スーパーロポット大戦 MX？のほうでは大分緩和された終わり方になっているみたい、YouTubeで見てみると)、ラピス・ラズリがまるっとお見通しだとは... いやはや、まさか今さらに知るとは。ch.n…

"古い" タブレットなので最新のOSは厳しい。nexus7(2012)+Android5.1.1で遅くなるという記事が見つかる。確かにっ！！ 起動して、各種サービス類が一旦安定化して暫くは軽いのだが、そのうちどんどん重くなる。大体1日に1回くらいリブートさせたほうが良いレ…

タブレット用マイクロUSBケーブル - らんだむな記憶でマイクロUSBケーブルを交換するも暫くして、やはり充電が進まなくなった。そして、そのうち充電になかなか入らなくなった。最後には充電ケーブルを繋いでいると完全放電した...。 ASUSに電話しても調査だ…

ボロノイ図とドロネー図について大きくて簡単な図が書いてあって、しかも応用例にさらっと触れているページがあった。ボロノイ図とは―――――・・・Edelsbrunner氏によるsurveyとか、講義の一部。パーシステントホモロジーのsurvey: http://cygnus-x1.cs.duke.e…

ボロノイ図 - Wikipediaとかいうやつを計算幾何などの本でよく見かける。英語のwikiのほうが詳しそうだが...: Voronoi diagram - Wikipedia, the free encyclopedia計算幾何学と地理情報処理 第2版 / 伊理 正夫 監修 腰塚 武志 編集 | 共立出版などは結構気…

数学的な美 - Wikipediaというのがあるそうな。 必ずと言って良いくらい「マンデルブロ集合」「黄金比」「フィボナッチ数」が出てくるなぁ 昔からエレガントな回答とか数学の美しさとかそういうのはよく分からないな。ようするに向いてないのかもしれない。…

ここまでの結果をまとめると、 \begin{align} \begin{cases} \delta_i^{\ell} = \left( (\widetilde{\Theta^{\ell}})^T \delta^{\ell + 1} \right)_i\,\varsigma^\prime(z_i^{\ell}), &2 \le \ell \le L - 1,\ 1 \le i \le s_{\ell + 1} \\ \delta_i^L = a_i…

さて、残しておいた \begin{equation} \delta_i^{\ell} := \frac{\partial J}{\partial a_i^{\ell}} \varsigma^\prime(z_i^{\ell}),\ 2 \le \ell \le L,\ 1 \le i \le s_{\ell} \hspace{5em} (1) \end{equation} は何ですか？ということになる。 なお、$\del…

ニューラルネットワークの損失関数に対してgradient descentを適用することを考える。\begin{equation} J(\Theta) = \frac{1}{m} \sum_{p = 1}^m \sum_{k = 1}^K \mathrm{Cost}(h_\Theta(x^p)_k,\ y^p_k) + R(\Theta) \end{equation} だった(記号が紛らわし…

www.youtube.com これ、いいね！と思っていたらwww.youtube.com これもイイ！ってか、匠って愛されすぎ... orz

レコーダから吸い出した動画のエンコードが面倒くさい。 人工知能だとか機械学習云々で宜しくCMカットしながらmp4にしてくれんか？Aviutlでフォルダ内の動画を自動的に一括エンコードする方法によると、AviUtl Controlとかいうのがあって、vbsを書けばいける…

次に、多層ニューラルネットワークでの多値分類を考える。ネットワークの層の数を$L$として出力層のユニット数を$K$とする。 第$j$層でのユニット数を$s_j$とする。特に$s_L = K$である。 第$j$層での重みを$\Theta^j$とする。 出力層の第$k$ユニットからの…

活性化関数は全部シグモイド関数$\varsigma(\cdot)$としておく。 ネットワークは入力層, 中間層, 出力層の3層構成としておく。 入力層のユニット数を$s_1$, 中間層のユニット数を$s_2$, 出力層のユニット数を1とでもする。 入力を$x = (x_1, \cdots, x_{s_1}…