目次 LangChainって何？ Azure OpenAIって何？ LangChainの使い方 実験環境 基本ライブラリのインポート 環境変数の設定 各モデルのインスタンスを作成 ConversationalRetrievalChainの実行例 ライブラリのインポート memoryの初期化 CSVLoaderでデータを取…

環境構築 実行ファイル作成 サンプルコードを実行してみる 完全な対話形式に改造する。 まとめ 各種リンク 環境構築 まず、フォルダを作りましょう。 mkdir rinna-gpt これで、"rinna-gpt"という名前のディレクトリが作成されます。 これから作成するファイ…

本記事では、近年話題になっているGPTなどのモデルの基礎にもなっているtransformerモデルの解説を行います。 今回はEncoder編で、Decoder部分は別記事で紹介します。 私も学習段階で、記事の信ぴょう性としては薄いですが参考程度に読んでいただけますと幸…

こんにちは。ふらうです。 今回は、SentencePieceの解説です。 自然言語処理では重要な内容となっていますので、初学者の方は必見です。 それでは、解説していきましょう。 はじめに SentencePieceとは何か なぜSentencePieceが必要なのか 単語分割とサブワ…

こんにちは。ふらうです。 今回は、Webスクレイピングについて解説していきます。 AIを学習する際も、何か情報を解析する際も、多くのデータが必要になります。その際に、自力で収集するのは結構大変だと思います。そこでPythonを使い、データ収集を自動化す…

こんにちは、ふらうです。 今回は、Word2Vecの学習を実行していきます。 学習の手順としては以下の通りです。 学習データの準備 この段階で進めていきます。なお、出来上がった学習済みモデルはGitHubにて公開するので、ご自由にご利用ください。公開しまし…

こんにちは。ふらうです。 今回は、Seq2Seqについて解説したいと思います。 自然言語処理の世界の中で、一時代を担った重要なモデルで、どのようなモデルなのかを説明します。 また、本記事は論文「Sequence to Sequence Learning with Neural Networks」を…

こんにちは。ふらうです。 今回、Doc2Vecというものに触れていきたいと思います。 使用環境 OS Windows 10 Home Anaconda（windows） Python 3.7.16 CPU Intel(R) Core(TM) i9-10900 CPU @ 2.80GHz 2.80 GHz GPU NVIDIA Geforce RTX 3070 メモリ 32GB gensim…

こんにちは。ふらうです。 ブログをはじめてみました。 AIの研究を行っているのですが、自分が学んだこと、作ったものなどを発信していくとともに、技術について語り合える仲間を探したいと思い始めました！ 気軽にコメントなどしていただけると嬉しく思いま…