2022-02-04から1日間の記事一覧

BERT事前学習を11GB GPUで

max_seq_length=512が走っているのはA6000という48GBのメモリが載ったGPU しかし、これは一基しかなく、他は1080Tiもしくは2080TiというGPUメモリが11GBしかないもの。そのため、max_seq_length=128の事前学習用のデータを作成したうえで、 python3 ../model…

BERT事前学習

一体いつになったら終わるのか…と思ってよくみてみたらどこまで進んでいるのかが表示されていた。 5日間で約1/3程度なのであと10日間はかかりそう。 そうか、ローカルマシンだと2週間はかかるのか。 停電とかしたら泣きそう。これが終わればUPSをつなごう。 …