2022-03-05から1日間の記事一覧
未だにBERTのtokenizerがどうなっているかよくわからないのだけれど、sentencepieceだとそもそも単語区切りですらなく処理している、ということになると一生懸命形態素解析をする意味とは?と思ってしまう。 どうやら人間から見て正しい解析手法は機械で解析…
未だにBERTのtokenizerがどうなっているかよくわからないのだけれど、sentencepieceだとそもそも単語区切りですらなく処理している、ということになると一生懸命形態素解析をする意味とは?と思ってしまう。 どうやら人間から見て正しい解析手法は機械で解析…