情報理論 改訂2版 | Ohmsha おぉ・・・噂の本の改訂2版が・・・。「7.4 ガロア体」・・・うゎー・・・。 $\mathbb{F}_p = \Z/p\Z$ くらいでお手柔らかにお願いしたいところ。 とりあえずは筑摩書房 情報理論 / 甘利 俊一 著が読みやすくて良し。$-\log p$ を…

Variational Auto-Encoder などに見られるベイズ的なもの？がよく分からないのでメモ。 変分 (Variation) まずこれがよく分からない。パッと思いつくものを列挙しよう: 変分原理 (Variational principle) 解析力学などの見られる変分原理では与えられた函数 …

Pythonによる因果推論と因果探索（初心者の方向け） - Qiitaの概略とGitHub - YutaroOgawa/causal_book: 書籍「作りながら学ぶ! PyTorchによる因果推論・因果探索」の実装コードのリポジトリです統計学Ⅲ:多変量データ解析法 | gaccoでもそうだったが因果関係…

deep-learning-from-scratch-3/vae.py at master · oreilly-japan/deep-learning-from-scratch-3 · GitHubが 1 つの実装。Convolutional Variational Autoencoder | TensorFlow Coreを比較すると Convolutional Variational Autoencoder と読んでも良いもの…

FastAPIが覇権を取れるかもという話 - Qiita FastAPI とか Responder が今の流行りなんかな？という気持ちながら、はるか昔から聞く Django もまだまだ現役の様子。 という感じでGitHub - akiyoko/django-book-mysite-sample: mysite sample for akiyoko dja…

Week4 深層学習による自然言語処理とその応用事例 RNN CNN が画像でよく使われるのと好対照 実際に応用で使われるのは改良版の方、主に LSTM RNN $a_t = W_r h_{t-1} + W_i x_t + b$, $h_t = g(a_t)$ RNN の強み: 可変長のデータ、系列情報の処理 RNN の言語…

Week3 構文解析 目的: 文の文法的な構造を定め、後続する処理の入力とする 大きく二つのやり方 句構造解析: 構成素の概念に基づき、文を階層的な木構造として表す 依存構造解析 (係り受け解析): 単語間の修飾・被修飾の関係を定め、文を有向グラフ構造として…

Week3 自然言語処理 ツール NLTK genism scikit-learn 自然言語の特性 多義性 同義性 文脈依存性 言外の意味 自然言語処理へのアプローチ 理性主義的アプローチ 言語学, 論理学に基づいて、知識をルール・手続き化する演繹的手法 経験主義的アプローチ 統計…

ga136(推論・知識処理・自然言語処理)まとめ (1) - らんだむな記憶の続き。 Week2 マルチエージェントシステム 人工知能の参考書 Russel and P. Norvig: Artificial Intelligence: A Modern Approach (4th Edition) David Poole and Alan Mackworth: Artific…

深層学習界の大前提Transformerの論文解説！ - Qiita 作って理解する Transformer / Attention - Qiita https://www.anlp.jp/proceedings/annual_meeting/2019/pdf_dir/P5-21.pdf RNN, LSTM 系の最新の技術だとか。O'Reilly Japan - ゼロから作るDeep Learni…

VAE (Variational Autoencoder) - らんだむな記憶を少し読んでみようかな。読んで見ようかなと書きつつも分からないところを省いたただの翻訳という説・・・。たぶん以下で $p_\theta (x)$ みたいなのは例えば Bernoulli 分布の密度“函数” $p_\theta (x) = \…

import matplotlib.pyplot as plt def show_reconstruction(test_loader): fig = plt.figure(figsize=(15, 10)) vae.eval() x, t = next(iter(test_loader)) x, t = x.to("cuda"), t.to("cuda") z_mean, z_log_var = vae.encoder(x) z = vae.encoder.samplin…

基本ドキュメントなんて読まんから unsigned short val; // 66535 までの整数値しか扱わない scanf("%u", &val); とかでよくスタック破壊をしたものだ。 $ man scanf SCANF(3) BSD Library Functions Manual SCANF(3)NAME fscanf, scanf, sscanf, vfscanf, v…

画像を表示したい時にいつも全然分からないやつ。matplotlib基礎 | figureやaxesでのグラフのレイアウト - Qiitaを参考にする。 x, t = next(iter(trainloader)) row = 5 col = 6 # 15inch x 10inch plt.figure(figsize=(15,10)) for i, im in enumerate(x.v…

Jensenの不等式 - らんだむな記憶で触れたカルバック・ライブラー情報量について特定の確率分布の時に計算してみたい。PRML の 1.6. Relative entropy and mutual information にて relative entropy 或いは Kullback-Leibler divergence という名で知られる…

【公式】ぷよぷよeスポーツ×プログラミング なんだってー。今時 SSL 対応してないだとー！ってのはさておきにして、なんだコレゎー。 う、ぐぬぬ・・・。初級コースの実装が終わって動かすと、横にした状態で落とすと何故かぷよが縦に戻る・・・。打ち間違い…

大学はAIエンジニアへの最短ルートではない？｜経験者にインタビュー | TRaiNZ まぁそうかもなぁ〜って感じで。大学で機械学習学べるぞ〜っていつ頃からそうなったんだろう？？門外漢すぎて全然知らない・・・。ここ 10 年くらいなんだろうか。

[1312.6114] Auto-Encoding Variational Bayes これが原論文なのかねぇ？ GAN 系統は以下？ [1406.2661] Generative Adversarial Networks [1511.06434] Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

Real Analysis: Modern Techniques and Their Applications (Pure and Applied Mathematics: A Wiley Series of Texts, Monographs and Tracts)の Exercise として出てくるからまぁ一応実解析的なトピックスなのかな？ イェンセンの不等式 - Wikipediaの参考…

conv2d_transpose の動作を確認する - Qiita deconvolution とも呼ばれている概念であると。 その後、色々あって ニューラルネットの畳み込み層 (2) にまとめた。

Activity#runOnUiThread - らんだむな記憶コレみたいなものだけどswift初心者がiOS13対応でメインスレッド以外でUI更新をしてクラッシュさせてしまった話 - Qiitaという記事がある。 大体 UI スレッド以外から GUI に触りに行くとクラッシュするか UI が真っ…

https://github.com/oreilly-japan/deep-learning-from-scratch-3/blob/master/steps/step59.py#L45の部分は具体的にどういう次元のデータが生成されているのであろうか？数式的には \begin{align} h_t = \tanh (h_{t-1} W_h + x_t W_x + b) \end{align} で…

torch.Tensor.detach みたいなものだろうけど、https://github.com/oreilly-japan/deep-learning-from-scratch-3/blob/master/steps/step59.py#L52でも前回の計算グラフとの繋がりを切っている。 作りが違うからということだろうけど、延々と計算グラフを辿…

Neovimのセットアップ方法(Mac) - Qiita Ubuntu 18.04でNeovimを利用する - Qiita ちょっとだけ気になるのでリンクだけ。

何回めになるか分からないけど、RNN にまたチャレンジ。https://github.com/oreilly-japan/deep-learning-from-scratch-3/blob/master/steps/step59.pyによる正弦波の予測を真似る。 class SimpleRNN(nn.Module): def __init__(self, hidden_size, out_size)…

間違って commit 予定のないファイルを commit してしまった・・・。 機密データをリポジトリから削除する - GitHub ヘルプを参考に削除を試みる。ローカル環境に java を導入していなかったし、とりあえずは永続的に導入する必要がないので、docker で片付…

[備忘]自作モジュールimport時のPath取得(Jupyter系も含め) - Qiita Jupyter では from pathlib import Path os.path.join(Path().resolve()) ってしないとダメみたい。

GitHub - oreilly-japan/deep-learning-from-scratch-3: 『ゼロから作る Deep Learning ❸』(O'Reilly Japan, 2020) と PyTorch を比較してみたい。 https://github.com/oreilly-japan/deep-learning-from-scratch-3/blob/master/dezero/layers.py#L13-L83 ht…

CuPy: A NumPy-compatible matrix library accelerated by CUDA # Install CuPy from source pip install cupy えぇぇ・・・。道理でいつまでも終わらない・・・。ptxas とか cicc とかが CPU を持って行っている・・・。n1-highmem-4 環境で 20 分近くかか…

【Visual Studio Code】コマンドからVS Codeを起動できない場合 (Mac編) - Qiita export PATH=$PATH:"/Applications/Visual Studio Code.app/Contents/Resources/app/bin" そりゃこれしかあるまい・・・。 Shell Command: Install code command in PATH) と…