https://github.com/kyamaz/openql-notes/tree/draft/docs こちらのほうに読書ノートを置いてくれているので大変参考になる！https://github.com/kyamaz/openql-notes/blob/draft/docs/20210120/quantum_computing_2_1-2_4.ipynb からが本の内容に対応してい…

ちょっとよく分からないけど、“tail recursion” で lookup を再起的に呼び出せるからとかいう闇の深そうが記述が幾らか見つかる・・・。https://litherum.blogspot.com/2019/03/addition-font.html とかよく読んだら分かるのかもしれないけど、うーん。使っ…

クエリ・キー・値もよく聞くがよく分からないやつだ。ちょっと雰囲気で読むと、ドット積 Attention をエンコーダの出力シーケンスに適用したものを素朴に抽象化すると\begin{align*} \mathrm{Attention}(Q, K, V) = \left[ \mathrm{softmax}(QK^T) \right] V…

Transformer に入るにあたって式が整理される。式 (6.16)\begin{align*} a(\tau, t) = \mathrm{softmax}(g(\bm{h}_s(\tau), \bm{h}_t(t-1))) \end{align*}は式 (6.26) として\begin{align*} a = \mathrm{softmax}(\mathrm{score}(\bm{h}_s, \bm{h}_t)) \end{…

Attention を可視化したいなと思ったので、ゼロつく 2 の visualize_attention.py を流用してみようと思う。そのために、6/layers/torch/Attention.py のほうも改造が必要である。 class Attention(nn.Module): def __init__(self, output_dim, hidden_dim, …

6/layers/torch/Attention.py の実装を見てみたい。p.364 に Attention 層は式 (6.12) (6.13) (6.14) で見たスコア関数のどれを用いるかによってパラメータが変わってきますが、ここでは式 (6.13) を用いてみることにしましょう。 とあるので、\begin{align*…

>>> a = np.arange(1,5).reshape(2,2) >>> a array([[1, 2], [3, 4]]) >>> b = np.arange(-5,-1).reshape(2,2) >>> b array([[-5, -4], [-3, -2]]) を使ったすこぶる分かりにくい挙動を見てみよう。 >>> np.einsum('ij,ij->ij', a, b) array([[-5, -8], [-9,…

ここいらで {numpy,tf,torch}.einsum の動きを見ておきたい。手軽さの観点で numpy で見る。 >>> a = np.arange(1,3) >>> a array([1, 2]) の時、 >>> np.einsum('i,i', a,a) 5 である。これは、-> での行き先がないので、結果がスカラになるということで、\…

数日経ってしまったが、6/06_attention_torch.py を K80 上で実行した。30 エポックで 22 分だった。 epoch: 30 loss: 1.670, val_loss: 3.57 > she doesn 't have any <unk> . = 彼女 に は 敵 は い な い 。 </s> < 彼女 は 数 に 無 い 。 </s> 。 </s> </s> </s> </s> </s> </s> </s> </s> </s> </s> </s> > she p…

そこそこの歳になってくると夢とか浪漫に思いを馳せるだけではなく金が欲しくなる。その夢とか浪漫を追い求めるのにも金がかかるからだ。仮に所属組織がお金を出してくれるとしてもそれは無尽蔵ではないし、所属組織の考えでしか投資してもらえない。意見が…

GitHub - schriftgestalt/GlyphsTracePlugin が手元の環境 (Big Sur + Glyphs 2.6.6 (1352)) でうまく動作しない。Trace Image Filter Does not work - Scripting - Glyphs Forum の現象の 1 つなのかもしれない。ので調べた。https://github.com/schriftges…