2022-02-17から1日間の記事一覧

作ってわかる!自然言語処理AI(坂本俊之)

とりあえず、Wikipediaから抽出したテキストに自分の興味のある分野のテキストを足してGoogle BERTで事前学習させてみたところ、Pytorch形式まで変換することに成功した。しかし、文の一部をmaskingして中に入る単語を予測させると一文字単語しか出てこない…