Bertにも色々オブジェクトの違いがあるらしい

中身は分かっていないものの、変換がうまくいかなかったのはどうやらGoogleが出したオリジナルのbertはBertForPreTrainingという型のオブジェクトであるのに対して、これまで延々作業して作成していたものはBertForSequenceClassificationという型になり、全く同じではないから、らしい。

そして、どうやら

transformers/src/transformers/models/bert/convert_bert_original_tf_checkpoint_to_pytorch.py

ではなく、

transformers/src/transformers/models/bert/convert_bert_original_tf2_checkpoint_to_pytorch.py

を用いればPyTorchで使う形式に変換できそう、というか公開データでは一応うまくいった。しかし、やはり自分で一から作製したデータではうまくいかない。というか一体どのデータが最終データなのかがさっぱり分からない。