ch08 は何度か試行してみると、多少の差はあるが、すぐに正解率が向上する。10 epochs の実行に K80 で 42 分かかったが、以下のような状態だったので十分に良い結果だろう。
print(acc_list) [0.0008, 0.875, 0.9988, 0.9998, 0.9998, 0.9998, 0.9998, 1.0, 1.0, 1.0]
Attention の可視化についてエポック 1 の終了時点のものが
で、エポック 9 終了時点のものが
である、よりハッキリした重みになっていることが分かる。なおエポック 0 終了時点のものはほとんど黒い画像だったので割愛する。
背景を白くする方法としてはImageMagick 透過PNGを非透過な画像に変換する | OCテックノートを参考に、以下のようにした。
convert epoch1.png \( +clone -alpha opaque -fill white -colorize 100% \) +swap -geometry +0+0 -compose Over -composite -alpha off epoch1_.png
これで p.359 まで完了。
そして残りは読み物的に読んでしまったし、GRU も試してないけどアーキテクチャだけさらっと読んで終わり。ということで p.406 まで全部完了ということで。10/18〜11/12 まで、忙しくて進められない日もあったけど約 4 週間弱かかった。
きっとまだまだ理解できてないところもあって、何度も戻ってきたり別の本や記事も読まないと理解できないことも多いだろうけど、駆け足でも Attention まで触れられたのは良かった。
この内容は Attention (1) - らんだむな記憶 以降で少し振り返ることにする。
