こんにちは。ふらうです。 今回は、SentencePieceの解説です。 自然言語処理では重要な内容となっていますので、初学者の方は必見です。 それでは、解説していきましょう。 はじめに SentencePieceとは何か なぜSentencePieceが必要なのか 単語分割とサブワ…