前章で考えた Encoder-Decoder では、デコーダの $\bm{h}_t$ はエンコーダ $\bm{h}_s$ の最終状態を表す固定長の文脈ベクトル $\bm{c}$ を用いて下記のように表されました。 \begin{align*} \bm{h}_t(t) = f(\bm{h}_t(t-1), \bm{y}(t-1), \bm{c}) \end{align…

https://github.com/huggingface/transformers/tree/master/src/transformers https://github.com/facebookresearch/detr/blob/main/models/transformer.py https://github.com/yusugomori/deeplearning-keras-tf2-torch/blob/master/6/08_transformer_torch…

(beta) Channels Last Memory Format in PyTorch — PyTorch Tutorials 1.10.1+cu102 documentation Why does pytorch prefer using NCHW? - PyTorch Forums すぐに忘れてしまうが、PyTorch は NCHW (BCHW) フォーマットを使っている・・・らしい。その意味で…

x,t = next(iter(train_dataloader)) print('t of train_dataloader:', t.is_contiguous()) x,t = next(iter(val_dataloader)) print('t of val_dataloader:', t.is_contiguous()) x,t = next(iter(test_dataloader)) print('t of test_dataloader:', t.is_c…

「田中コーパス」を Tanaka Corpus - EDRDG Wiki をもとに ftp://ftp.edrdg.org/pub/Nihongo/examples.utf.gz からダウンロードして tar xvfz examples.utf.gz less examples.utf すると、 A: 彼女は私の子供達の世話をしてくれる。 She takes care of my ch…

「5.2.7 長期依存性の学習評価」については、以下のような感じでデータセットを確認: # シグナルの前半 print(x[0, :, 0][:30]) # マスク print(x[0, :, 1]) indices_of_one = np.where(x[0, :, 1] == 1) # マスクが 1 の箇所 print(indices_of_one) # マス…

「ぷよりんご」ゲームが難しすぎると話題に（テレビ朝日系（ANN）） - Yahoo!ニュース やってみた。でという感じで。

Transformer の解説 - らんだむな記憶 で触れたこの本が良さそうなので購入した。第 5 章くらいから見ていくか。pp.256-293 を取り敢えずやってみる。ゼロつく 2 では peephole connection の話は出ていなかったので、そうなのかという感想。にしても十分に…

google colaboratory - colab pro+ Background exec does not seem to take effect - Stack Overflow バックグラウンド実行がちゃんとできるのかちょっと不安だな・・・。そして、Googleさん、Colab Pro+を作ったのでColab Proをリソース制限してしまう | や…

import matplotlib.pyplot as plt import numpy as np fig = plt.figure() ax = fig.add_subplot(projection='3d') ax.set_xlabel('i', size=15, color='black') ax.set_ylabel('pos', size=15, color='black') ax.set_zlabel('PE', size=15, color='black')…

PNG to BMP3 using mogrify - ImageMagick より mogrify -format bmp -define bmp:format=bmp3 *.png とすると良い感じで .png -> .bmp ができるみたい。*1この後、potrace で svg にして*2、fontTools の svg2glif.py を使うと簡単に .glif にできる。例え…

https://github.com/freetype/freetype/blob/3cabd142ce42627a7e4410ce62616e5c4b91dc6e/src/sfnt/sfobjs.c#L1319-L1339 単純に OS/2.sTypoDescender がとられるわけではなかった・・・。 USE_TYPO_METRICS でない場合は hhea のほうがとられると・・・。 CJ…

Colab に SSH - らんだむな記憶 には別解（？）があるみたいで Cloudflare を使うみたい。ローカルのVSCodeからGoogle Colab (Pro)に接続する - Qiita によるとユーザー登録不要らしいが・・・何故だろう・・・。Cloudflare を踏み台にしてると思っているの…

multivariable calculus - How do you pronounce (partial) derivatives? - Mathematics Stack Exchange こんなに色々あるとは思わなかった・・・。over より by のほうが多そうなのもそうなのか・・・という感じ。

「E: ロック /var/lib/dpkg/lock-frontend が取得できませんでした - open (11: リソースが一時的に利用できません)」というエラーの対処法 - Qiita たまに遭遇するので少し待つ。今回も書いてあるように数分ぼけーっと放置したらロックが解放された。

ssh -i hoge.pem -oProxyCommand='ssh -i fuga.pem -W %h:%p ec2-user@xxx' ec2-user@192.168.yyy とすると、アドレス xxx のサーバを踏み台にして、private subnet のローカルアドレス 192.168.yyy のサーバに ssh できるとのこと。たまたま Udemy を見てい…

ch06 の Rnnlm を DeZero にポーティングする。以下のような感じで良いはず・・・ class Rnnlm(Model): def __init__(self, vocab_size, wordvec_size, hidden_size): super().__init__() V, D, H = vocab_size, wordvec_size, hidden_size self.embedding =…

PrivateLink と呼ぶのか？ private な subnet にいる EC2 や Lambda からエンドポイント経由で S3 にアクセスする時、EC2/Lambda と S3 が同一のリージョンにいるだけでは不十分で、S3 の API を叩く時にもリージョンを明示的に指定しないとダメなんじゃない…

sshだけでファイル・ディレクトリ転送(scp, sftpなし) - Qiita tar cf - file1 file2 | ssh alice@xxx 'tar xf -' でオンメモリな tar でファイルを転送できるみたい。しかも調べたらちゃんと出てくるからよく知られた技なんだろうか・・・。

システム障害対応の教科書：書籍案内｜技術評論社 最近はこういう本もあるのかぁ・・・。

pytorch-transformers · PyPI transformers · PyPI の 2 つが見つかる。どうやら両者は同じもので（Homepage なども同一） https://pypi.org/project/pytorch-transformers/1.2.0/ https://pypi.org/project/transformers/2.0.0/ でスイッチしたようだ。bert…

DeZero に勾配クリッピングを実装する場合どうすれば良いのだろう？と思ったので PyTorch の API を見てみる。torch.nn.utils.clip_grad_norm_ — PyTorch 1.10.0 documentation なるほど、loss.backward() 後にクリッピングするのか。https://github.com/pyt…

躍進するスタートアップのCEOが直伝 組織にミッション・ビジョン・バリューを根づかせる方法 - ログミーBiz 「オープンにコミュニケーションしよう」と言っても、本当に何から何まで全部オープンにしなきゃいけないわけではなくて、「大切なことはちゃんと話…

428 〜封鎖された渋谷で〜 on Steam あの「街 ～運命の交差点～」と同じコンセプトなんだとか。ちょっと気になるな・・・。

TimeSoftmaxWithLoss.forward 内の xs = xs.reshape(N * T, V) について考えたい。簡単な動きを見るコードを考える >>> import numpy as np >>> a = np.array(range(24)).reshape(2, 3, 4) >>> print(a) [[[ 0 1 2 3] [ 4 5 6 7] [ 8 9 10 11]] [[12 13 14 1…

とりあえずの本読みは終わったものの、深く考えずにざっと流れだけ追いかけたので、気になる箇所について少し詳細に見たい。ch05 について。 $ cat ptb.train.txt aer banknote berlitz calloway centrust cluett fromstein gitano guterman hydro-quebec ip…

The Illustrated Transformer – Jay Alammar – Visualizing machine learning one concept at a time. が分かりやすいらしい。英語がつらいから DeepL に訳させるか・・・。詳解ディープラーニング 第2版 | マイナビブックス も良さそうかも？ https://githu…

ch08 は何度か試行してみると、多少の差はあるが、すぐに正解率が向上する。10 epochs の実行に K80 で 42 分かかったが、以下のような状態だったので十分に良い結果だろう。 print(acc_list) [0.0008, 0.875, 0.9988, 0.9998, 0.9998, 0.9998, 0.9998, 1.0,…

量子計算シミュレータ、つくってみた - Qiita シミュレータを自作・・・だと？→ GitHub - samn33/qlazy: Quantum Computer Simulator

社会人の勉強時間の平均は6分ではなく160分│等身大のキャリアちゃんと一次情報から拾っているわけではないが、 社会人の 95% は勉強しない。ので、全体として 1 日あたりの平均時間は 6 分 但し、残り 5% は勉強をして 1 日あたりの平均時間は 160 分 という…