2022-02-23から1日間の記事一覧

BERTの穴埋め問題が面白い

といっても学習途中のデータではあるが。 聖書で一番興味深い人物は{}である。 [{'score': 0.1607993096113205, 'token': 8773, 'token_str': 'イエス', 'sequence': '聖書で一番興味深い人物はイエスである。'}, {'score': 0.028625786304473877, 'token': …

BERTの事前学習がある程度成功?

ここの記事に従って作業中である。この記事にもあるように、「日本語でBERTの事前学習をスクラッチで行っている記事が現段階であまり見当たらなかった」のは今でも同じで、英語で探してもtokenizationが全然違うのであまり参考にならず、とても参考になる記…