概要

text-generation-webui は LLM を使ったチャットや追加学習ができる WebUI ツールです
今回は M2 mac mini 上にインストールしてチャットを試してみました

環境

https://github.com/oobabooga/text-generation-webui/archive/refs/heads/main.zip をダウンロード
unzip text-generation-webui-main.zip
cd text-generation-webui-main
./start_macos.sh

http://localhost:7860/ にアクセスします
デフォルトはチャットの画面です
まだモデルがないので何もできません

便利なダウンロードが付属しているのでそれを使います
今回は日本語でチャットしたいので日本語に対応しているモデルをダウンロードしました
モデルのサイズは 5GB ほどあります
llama.cpp が使える形式でないと非常に遅いので gguf に変換されたモデルをダウンロードします

~~./installer_files/conda/bin/python download-model.py elyza/ELYZA-japanese-Llama-2-7b~~
./installer_files/conda/bin/python download-model.py mmnga/ELYZA-japanese-Llama-2-7b-fast-instruct-gguf

models/mmnga_ELYZA-japanese-Llama-2-7b-fast-instruct-gguf にダウンロードされます

ELYZA-japanese-Llama-2-7b でも Transformers を使えば動作するのですが GPU がうまく動作しないため llama.cpp を使っています

Model タブから指定します
リロードしモデルを選択したら Load をクリックして設定します

モデルが設定できたら Chat タブに戻って動作を確認します
chat-instruct モードにしましょう (あとから気づきましたが普通の chat でも動作しました)
日本語でも会話ができれば OK です

M2 mac mini 上に text-generation-webui をインストールしてみました
好きなモデルをダウンロードしてチャットなど試すことができます

~~次回はせっかくなので LoRA を試してみたいと思います~~ -> Apple Sillicon 上ではまだ動作しないようなので諦めました