久々にメモリを大量に使用

している。というのは、東北大学のpre-trained Japanese BERTモデルと同じ事をしようとしているため。元々はUbuntu上でファイルを作成し、最後はクラウドのTPUで学習させているようなのだけれど、なんとかWindows10マシンで動作をなぞろうとしている。今のところはWikiデータを変換し、8つに分割し、おそらく単語単位、文字単位にあれこれやっているところ。ここしばらくは自然言語処理の深層学習を学ぼうと四苦八苦しているが、なかなか理解に至らない。・・・なのでとにかく何か動かしてみよう、といったところ。

f:id:kopo3:20220121102316p:plain

256GBのメモリを搭載した甲斐があった

最後までたどり着くかどうか分からない。たどり着いたとしても非常に時間がかかりそうだ。