Attention の部分の説明は 8 章の pp.338-340 辺りが導入部と思う。[1409.0473] Neural Machine Translation by Jointly Learning to Align and Translate では式 (5) と (6) 辺りが該当すると思う。特に (6) 式は softmax である。(5) 式では隠れ状態とアノ…

ゼロつく 2 p.29 を掘り下げる。関数 $f: \R^n \to \R^1$\begin{align*} f(x) = f(x_1, \cdots, x_n) \end{align*}を考える。更に $g: \R^1 \to \R^1$ がある時、合成 $g \circ f$ について\begin{align*} (g \circ f)(x) = g(f(x_1, \cdots, x_n)) \end{ali…

ゼロつく 2 p.28 を掘り下げる。関数 $f: \R^m \to \R^n $ を成分で表示すると、$x = (x_1, \cdots, x_m)$ として\begin{align*} f(x) = (f_1(x_1, \cdots, x_m), \cdots, f_n(x_1, \cdots, x_m)) \end{align*}と書ける。更に $g: \R^n \to \R^1$\begin{alig…

Seq2seq による足し算の計算はジョン・サールの 中国語の部屋 - Wikipedia を彷彿とさせる。【外から記号の羅列を受け取り、確率的にありそうな記号の羅列にして外に返す。すると、AI の外にいる人間は「この AI は足し算を理解している」と考える。しかしな…

自然言語処理 改訂版の通販/黒橋 禎夫 - 紙の本：honto本の通販ストア が決定版として良いらしい。目次を見ると結構沢山解説してくれてそう。いまは自然言語処理におけるテクニックには興味があるけど、自然言語処理そのものには興味がない。が、興味が出た…

RnnlmGen で適当な文章を生成させると、 you never need mr. bergsma said. the proposal will make engineers and billings however will provide authority to attract the passes of the proposals. in contrast close to the administration 's most pow…

LSTM を重ねたり、間にドロップアウトを入れたり、学習率を perplexity に合わせて減らしたりすることで精度が上がるとのこと。このくらいまで来るととても CPU で訓練してられないので Colab 上で K80 を使う。それでも遅い。 | epoch 1 | iter 1001 / 1327…

PyTorch Pocket Reference [Book] おっ、なかなか良さそうな本。

https://github.com/pytorch/examples/tree/master/word_language_model こういうのがあるのか・・・。でも、見てもすぐには分からないな・・・。Deep Learning for NLP with Pytorch — PyTorch Tutorials 1.10.0+cu102 documentation このくらいからが良い…

Amazon | テレビ 32型 液晶テレビ ダブルチューナー 32インチ 裏録画 ゲームモード搭載 メーカー1,000日保証 TV 32V 地上・BS・110度CSデジタル 外付けHDD録画機能 HDMI2系統 VAパネル 壁掛け対応 マクスゼン MAXZEN J32CH02 | テレビ 通販 ￥22,500 安過ぎ…

LSTM に突入。ディープラーニングの場合「何でこういう式なの！？」と考えることにあまり意味はないと思っていて、その因子に関わる入力と出力だけが重要だと思っている。そして、入力と出力の間が一つ或は複数の線形層や畳み込み層と活性化関数で繋げられる…

https://github.com/oreilly-japan/deep-learning-from-scratch-2/blob/84cb914a6469bffcc0ea5302f86df98c453a5767/common/time_layers.py#L316 ls = np.log(ys[np.arange(N * T), ts]) がピンと来ないので実験。 >>> ys = np.array([[1,2],[3,4],[5,6],[7,8…

GitHub - lxgw/LxgwWenKai: An open-source Chinese font derived from Fontworks' Klee One. 一款基于 FONTWORKS 的 Klee One 的开源中文字体。 An open-source Chinese font derived from Fontworks' Klee One. 鸣谢zi2zi_pytorch 日本語フォントがディー…

AIによる「物体検出」を学ぼう！【PyTorch+Colab】 Section1 【Live! AIRS-Lab #69】 #airslab #live - YouTube （11/7まで公開）AIによる「物体検出」を学ぼう！【PyTorch+Colab】 Section2 【Live! AIRS-Lab #70】 #airslab #live - YouTube AIによる「物…