目次 LangChainって何？ Azure OpenAIって何？ LangChainの使い方 実験環境 基本ライブラリのインポート 環境変数の設定 各モデルのインスタンスを作成 ConversationalRetrievalChainの実行例 ライブラリのインポート memoryの初期化 CSVLoaderでデータを取…

環境構築 実行ファイル作成 サンプルコードを実行してみる 完全な対話形式に改造する。 まとめ 各種リンク 環境構築 まず、フォルダを作りましょう。 mkdir rinna-gpt これで、"rinna-gpt"という名前のディレクトリが作成されます。 これから作成するファイ…

オンラインゲームで生じている様々な問題 「チームゲームでのトロールは本当に悪か。」についてのAIとの対話ログ AIと対話してみての発見 解決案 終わりに オンラインゲームで生じている様々な問題 昨今、ネットや高性能なゲーム機の普及によって、オンライ…

旧PCのWSLをver2に移行するため、powershellにて wsl --updateと wsl --installを実行し、Ubuntuをインストールしたところ、以下のようなエラーが出た。 Processing fstab with mount -a failed. <3>WSL (7) ERROR: CreateProcessEntryCommon:370: getpwuid(…

こんにちは。ふらうです。 今回は、自然言語処理に革命を与えたBERTを解説していきたいと思います。 私自身、今勉強中の身であるため、解釈違いなどがあると思いますが、ご理解ください。 今回はBERTの概要とアルゴリズムの解説を行いますが、今後別記事で事…

１．自然言語処理の前処理 正規化 NFD NFC NFKD NFKC ２．Pythonで正規化を行う方法 unicodedataモジュール ３．終わりに １．自然言語処理の前処理自然言語処理では、文章データの前処理の有無や品質によって結果が大きく変わってくるんですよね。文章デー…

お久しぶりです。今回は、開発でお世話になっているDockerについて解説していきます。誰でもわかるよう簡単に書くことを目指していますので、初学者の方でも気軽に閲覧していってください。 Dockerとは Dockerイメージ Docker Hub Docker主要コマンド一覧 ま…

現在行っている研究が忙しく時間との勝負になっているため、更新が少なくなります。 しかし、新しい技術の勉強や技術力向上のための勉強をしていますので、今後時間ができれば学んだことをどんどん記事としてアウトプットして、情報共有したいと思います！ …

本記事では、近年話題になっているGPTなどのモデルの基礎にもなっているtransformerモデルの解説を行います。 今回はEncoder編で、Decoder部分は別記事で紹介します。 私も学習段階で、記事の信ぴょう性としては薄いですが参考程度に読んでいただけますと幸…

こんにちは。ふらうです。 今回は、SentencePieceの解説です。 自然言語処理では重要な内容となっていますので、初学者の方は必見です。 それでは、解説していきましょう。 はじめに SentencePieceとは何か なぜSentencePieceが必要なのか 単語分割とサブワ…

こんにちは。ふらうです。 今回は、Webスクレイピングについて解説していきます。 AIを学習する際も、何か情報を解析する際も、多くのデータが必要になります。その際に、自力で収集するのは結構大変だと思います。そこでPythonを使い、データ収集を自動化す…

こんにちは。ふらうです。 今回はAUTOMATIC1111上で、Stable Diffusionモデルを利用して画像生成を行うまでを解説します。 「Hugging Faceからどのモデルをダウンロードすればいいか分からない...」 「どこに保存すればいいかわからない...」 など、疑問を抱…

こんにちは。ふらうです。 最近、画像生成にハマってまして、ようやくAUTOMATIC1111の各種機能の使い方や、モデルの違い（checkpoint, Lora, LyCORISとか）が分かってきたところで楽しくなってきました。 なので、今回はおすすめのモデルをいくつか紹介した…

こんにちは。ふらうです。 皆さん。「あのキャラクターがあの仕事をしていたらどうなるんだろう...」、「あのキャラクターがこんなことしていたらどういう風になるんだろう...」、「あのキャラとあのキャラのカップリングを見てみたい！」と考えたことはあり…

こんにちは。ふらうです。 今回は、Stable Diffusionモデルを利用して画像生成をしたいと思います。 きっかけは、アイコンを変えたいと思っていた時でした。 「著作権とか難しいな...そや！AIに書かせよう」という発想に至ったので、初の自然言語処理以外のA…

こんにちは、ふらうです。 今回は、Word2Vecの学習を実行していきます。 学習の手順としては以下の通りです。 学習データの準備 この段階で進めていきます。なお、出来上がった学習済みモデルはGitHubにて公開するので、ご自由にご利用ください。公開しまし…

こんにちは。ふらうです。 今回は、ubuntuの導入です。 前回は、Windows版Anacondaの導入から開発環境を作ったのですが、今回はubuntuをインストールしていきます。 ubuntuとはなんぞという方も多くいると思いますので説明します。 ubuntuはOSの名前です。 …

こんにちは。ふらうです。 今回は、Windows上のPython環境でPyTorchを使う際に、GPUを使えるようになるところまでを解説していきます。 今回想定している環境は、GPUがついているPCで、実行環境はWindows版Anacondaを使っている場合です。理由は、私のブログ…

こんにちは。ふらうです。 今回は、Seq2Seqについて解説したいと思います。 自然言語処理の世界の中で、一時代を担った重要なモデルで、どのようなモデルなのかを説明します。 また、本記事は論文「Sequence to Sequence Learning with Neural Networks」を…

こんにちは。ふらうです。 今回、Doc2Vecというものに触れていきたいと思います。 使用環境 OS Windows 10 Home Anaconda（windows） Python 3.7.16 CPU Intel(R) Core(TM) i9-10900 CPU @ 2.80GHz 2.80 GHz GPU NVIDIA Geforce RTX 3070 メモリ 32GB gensim…

こんにちは。ふらうです。 今回は、Pythonの実行環境の構築を解説していきます。 おそらく、「プログラミング始めてみたい！」って方や、「今まで他の言語触ってきたけど、Pythonも触ってみたいな。」と思っている中級者でも、Windowsを使っている方がほとん…

こんにちは。ふらうです。 ブログをはじめてみました。 AIの研究を行っているのですが、自分が学んだこと、作ったものなどを発信していくとともに、技術について語り合える仲間を探したいと思い始めました！ 気軽にコメントなどしていただけると嬉しく思いま…