らんだむな記憶

blogというものを体験してみようか!的なー

BERT (2)

https://github.com/yukinaga/bert_nlp/tree/main/section_4
section 4 以降、K80 では訓練に 1 時間 30 分くらいかかるノートブックが出てきてつらい。画像処理モデルでもファインチューニングで V100 使っても 1 時間とか 3 時間とか 7 時間とか普通だと思うけど、Colab でさっとチュートリアルみたいなのを試してみたいなという時にこういう規模の時間が出てくるとゔっ・・・となる。