詳解ディープラーニング 第2版 (1)

Transformer の解説 - らんだむな記憶
で触れたこの本が良さそうなので購入した。第 5 章くらいから見ていくか。

pp.256-293 を取り敢えずやってみる。ゼロつく 2 では peephole connection の話は出ていなかったので、そうなのかという感想。にしても十分にチューニングされているせいか PyTorch で実行すると LSTM 版も速い速い・・・。

LSTM — PyTorch 1.10.0 documentation を見ると

>>> rnn = nn.LSTM(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> c0 = torch.randn(2, 3, 20)
>>> output, (hn, cn) = rnn(input, (h0, c0))

となっていて、ゼロつくシリーズの LSTM とは異なり、c も与えて、返ってくるようになっているのが違うな・・・。
chainer.links.LSTM — Chainer 7.8.0 documentation を見ると、Chainer のほうがゼロつくに近い。気をつけないと・・・。