とりあえず、Wikipediaから抽出したテキストに自分の興味のある分野のテキストを足してGoogle BERTで事前学習させてみたところ、Pytorch形式まで変換することに成功した。しかし、文の一部をmaskingして中に入る単語を予測させると一文字単語しか出てこない。しかも必ずしも適切な単語でもない。
う〜ん、結局何をやっているか訳も分からずやっているのがダメなのだろうと色々と本を読み始めたが、とにかく分からない。
題名の書籍はBERTを初めから構築することを通して理解できるようにする、というものだそうだが、途中でTensorflowが出てきて、結局このモジュールの理解が全然できていないので、やはりなかなか理解が進まないのだった。
昔から追っている人であれば分かるのだろうけれど、ニワカにはかなり難しい。他に書籍を読んでみようと思うけれど、あまりにも変化が早すぎて2019年の本などは要注意な気がしている。
Tensorflowも1.xから2.xにバージョンが上がってまるで別物になったらしいし・・・。