LSTM を重ねたり、間にドロップアウトを入れたり、学習率を perplexity に合わせて減らしたりすることで精度が上がるとのこと。このくらいまで来るととても CPU で訓練してられないので Colab 上で K80 を使う。それでも遅い。 | epoch 1 | iter 1001 / 1327…

PyTorch Pocket Reference [Book] おっ、なかなか良さそうな本。

https://github.com/pytorch/examples/tree/master/word_language_model こういうのがあるのか・・・。でも、見てもすぐには分からないな・・・。Deep Learning for NLP with Pytorch — PyTorch Tutorials 1.10.0+cu102 documentation このくらいからが良い…

Amazon | テレビ 32型 液晶テレビ ダブルチューナー 32インチ 裏録画 ゲームモード搭載 メーカー1,000日保証 TV 32V 地上・BS・110度CSデジタル 外付けHDD録画機能 HDMI2系統 VAパネル 壁掛け対応 マクスゼン MAXZEN J32CH02 | テレビ 通販 ￥22,500 安過ぎ…

LSTM に突入。ディープラーニングの場合「何でこういう式なの！？」と考えることにあまり意味はないと思っていて、その因子に関わる入力と出力だけが重要だと思っている。そして、入力と出力の間が一つ或は複数の線形層や畳み込み層と活性化関数で繋げられる…