本記事では、近年話題になっているGPTなどのモデルの基礎にもなっているtransformerモデルの解説を行います。 今回はEncoder編で、Decoder部分は別記事で紹介します。 私も学習段階で、記事の信ぴょう性としては薄いですが参考程度に読んでいただけますと幸…

こんにちは。ふらうです。 今回は、SentencePieceの解説です。 自然言語処理では重要な内容となっていますので、初学者の方は必見です。 それでは、解説していきましょう。 はじめに SentencePieceとは何か なぜSentencePieceが必要なのか 単語分割とサブワ…

こんにちは。ふらうです。 今回は、Webスクレイピングについて解説していきます。 AIを学習する際も、何か情報を解析する際も、多くのデータが必要になります。その際に、自力で収集するのは結構大変だと思います。そこでPythonを使い、データ収集を自動化す…