まず、
pip3 install tf-models-official
次に、上記zipファイルを解凍し、--train_batch_sizeを64に減らしてPythonスクリプトを走らせたところ、今のところは動いている。
python3 ../models-2.7.0/official/nlp/bert/run_pretraining.py --input_files="bert/jawiki-20220110/wordpiece_unidic_lite/pretraining_data/pretraining_data_*.tfrecord" --model_dir="bert/jawiki-20220110/wordpiece_unidic_lite/bert-base" --bert_config_file="bert/jawiki-20220110/wordpiece_unidic_lite/bert-base/config.json" --max_seq_length=512 --max_predictions_per_seq=80 --train_batch_size=64 --learning_rate=1e-4 --num_train_epochs=100 --num_steps_per_epoch=10000 --optimizer_type=adamw --warmup_steps=10000
さて、完了するのは三日後か一週間後か一か月後か…。
