ViT 論文を読んでいたら Lastly, we perform a small experiment using self-supervision, and show that self-supervised ViT holds promise for the future. という一文が出てきた。2020年超盛り上がり！自己教師あり学習の最前線まとめ！ - Qiita という…

[1909.02072] Large-scale Tag-based Font Retrieval with Generative Feature Learning にて MyFonts ベースのデータセットが公開されている。6.2GB もあるのでなかなか巨大だな・・・。

Vision Transformer - らんだむな記憶 以来、ViT の論文を読みつつ、 [1409.0473] Neural Machine Translation by Jointly Learning to Align and Translate [1706.03762] Attention Is All You Need [1810.04805] BERT: Pre-training of Deep Bidirectional…