なぜか真っ黒になってしまうので対処方法を紹介します
なおバージョンによっては別の対応が必要なケースがあるのでご注意ください
これで自分は真っ黒画像が生成されなくなりました
なおサンプリングメソッドは「DPM++ 2M SDE」スケジューラタイプは「Keras」です
--listen を付与すると 0.0.0.0 でバインドします
デフォルトで使えると思ったのですが使えなったのでインストール方法と基本的な使い方を紹介します
txt2img の設定に Dynamic Prompts の項目が増えているので「Dynamic Prompts enabled」をチェックして有効にします
ブラケットを使うことでその中のワードを自動で選択してくれます
1 girl, {short hair|medium hair|very short hair|messy hair}
他にも変数やコンビネーションなどもあるので興味があれば調べてみてください
ADetailer を使うと表情の最後の細かい調整が簡単に行えます
表情のみでなく手などのパーツにも使えます
txt2img の設定に ADetailer の項目が増えているので Enable this tab をチェックして有効にします
使うときはシード値を必ず固定しましょう
であとは ADetailer 側のプロンプトに変換したい表情情報を入力すれば顔だけ挿げ替わると思います
デフォルトのモデル「face_yolov8n.pt」は顔専用のモデルで「hand_yolov8n.pt」などは手専用のモデルになっています
手の修正の場合は hand_depth_refiner という ControlNet と組み合わせて使うのが主流です
各種パーツのみを変えたい場合には便利です
過去に Canny で線画を抽出しその線画を元に画像を生成する方法を紹介しました
同じような方法で OpenPose という方法があるので紹介します
OpenPose は Canny 同様モデルが必要になる抽出処理になります
前回同様ダウンロードします
https://huggingface.co/lllyasviel/sd_control_collection
今回は t2i-adapter_xl_openpose.safetensors を使います
ダウンロードした models/ControlNet に配置します
Model の隣にある爆弾が爆発したようなアイコンがあるのでクリックします
しばらくすると棒人間が抽出されれば OK です
OpenPose を使う場合はプロンプトのポーズに関する記述はなくしたほうが良いでしょう
あとはプロンプトに入力すれば OK です
同じポーズで違う顔や髪型のキャラが作成できると思います
Canny に似ていますがポーズだけやポーズ抽出後にポーズの編集もできるのでより細かい調整をしたい場合は OpenPose のほうが良いかなと思います
ただポーズが複雑だったり使用しているモデルによっては画像がおかしくなったりするケースもあったので OpenPose が向かないケースもあるようです
同じポーズや画角の絵を大量に生成することができます
forge 版であれば拡張機能無しでデフォルトで使えます
とりあえずすべてダウンロードします
全部26GBあるのでディスク容量に注意しましょう
ここから必要なモデルだけダウンロードしても OK です
今回は canny という手法を使います
基本はここにある手順を参考に設定すれば OK です
Canny を使うように設定しモデルを選択すれば OK です
実行し線画が抽出できれば OK です
あとはプロンプトを入力し画像を生成すれば ControlNet の線画を元に画像を生成してくれます
通常の画像生成に比べて時間がかかるので注意しましょう
例えば同じ顔でポーズを変えたい場合は髪型を変えたい場合は reference_only も便利です
先ほど選択した Canny ではなく Reference を選択すれば OK です
Reference の場合はモデルも不要なので Canny よりもお手軽に使えます
stable-diffusion-webui-forge で ControlNet を試してみました
ControlNet には他にも openpose などいろいろな方法があるので興味があれば試してみてください
forge 版を使わなくてもできますが forge 版であれば簡単に進められました
.ruby-version がある場合は ruby-version の指定は不要です
name: Rspec test
on:
push:
branches:
- "master"
jobs:
rspec:
runs-on: ubuntu-latest
env:
PASS_SUPPORT: true
MODE: dev
steps:
- name: Checkout repository
uses: actions/checkout@v3
- name: Set up Ruby
uses: ruby/setup-ruby@v1
with:
bundler-cache: true
- name: Run Rspec
run: bundle exec rspec -f d spec/
env で環境変数が指定できます
.ruby-version がある場合は ruby-version の指定は不要です
name: RuboCop Linter
on:
push:
branches:
- "master"
jobs:
rubocop:
runs-on: ubuntu-latest
steps:
- name: Checkout repository
uses: actions/checkout@v3
- name: Set up Ruby
uses: ruby/setup-ruby@v1
with:
# ruby-version: '3.4'
bundler-cache: true
- name: Run RuboCop
run: bundle exec rubocop
参考サイト他のジョブと依存性を持たせたい場合は workflow_run を使いましょう
方法を紹介します
でホーム画面に特定の画像へのショートカットが作成できるのでタップすると画像が一発で開きます
写真アプリから毎回検索するのが面倒な場合に便利です
前回は Windows + mcpo + mcp-server-puppetter で試しました
結果が微妙だったので比較のために Mac + Claude の組み合わせでも試してみます
{
"mcpServers": {
"puppeteer": {
"command": "npx",
"args": ["-y", "@modelcontextprotocol/server-puppeteer"]
}
}
}
mcp-server-puppetter が有効になっていることを確認します
命令は以下です
puppetter mcp で chrome を起動し「hawksnowlog」と検索し検索結果をテキストファイルに保存してください
で結果を確認すると勝手にブラウザが起動しかつ selector で DOM 検索がない場合などに自動で再帰的に検索をかけ直し正しい DOM を見つけたりしてくれました
ここまでやってくれると(時間はかかりますが)かなり便利な感じはします
Windows + mcpo では puppetter のインストールやらいろいろしなければいけなかったのですが Mac 上では特に設定は不要でした
また Chrome の立ち上げも Windows だと詳細な命令が必要だったのですが Mac + Claude では不要でした
この挙動の原因として考えられるのは
あたりかなと思います
Windows でも Claude クライアントを使えば同じような結果が得られるかもしれません
mcpo で mcp-server-puppetter を動かす方法を紹介します
mcpo を動かすために Python 環境を構築します
Powershell で操作します
nvm を使ってインストールします
https://github.com/coreybutler/nvm-windows/releases から Windows 用の nvm をインストールします
{
"mcpServers": {
"puppeteer": {
"command": "npx",
"args": ["-y", "@modelcontextprotocol/server-puppeteer"]
}
}
}
Starting MCP OpenAPI Proxy with config file: .\config.json
2025-05-19 14:35:08,611 - INFO - Starting MCPO Server...
2025-05-19 14:35:08,611 - INFO - Name: MCP OpenAPI Proxy
2025-05-19 14:35:08,611 - INFO - Version: 1.0
2025-05-19 14:35:08,611 - INFO - Description: Automatically generated API from MCP Tool Schemas
2025-05-19 14:35:08,611 - INFO - Hostname: fjct-1267
2025-05-19 14:35:08,611 - INFO - Port: 8000
2025-05-19 14:35:08,611 - INFO - API Key: Provided
2025-05-19 14:35:08,611 - INFO - CORS Allowed Origins: ['*']
2025-05-19 14:35:08,611 - INFO - Path Prefix: /
2025-05-19 14:35:08,611 - INFO - Loading MCP server configurations from: .\config.json
2025-05-19 14:35:08,621 - INFO - Configured MCP Servers:
2025-05-19 14:35:08,621 - INFO - Configuring Stdio MCP Server 'puppeteer' with command: npx with args: ['-y', '@modelcontextprotocol/server-puppeteer']
2025-05-19 14:35:08,621 - INFO - Uvicorn server starting...
INFO: Started server process [2896]
INFO: Waiting for application startup.
INFO: Application startup complete.
INFO: Uvicorn running on http://127.0.0.1:8000 (Press CTRL+C to quit)
Waiting for application startup. で止まる場合は puppetter がうまくインストールできておらず裏で動作していない可能性があります
http://127.0.0.1:8000/puppetter を接続に追加しましょう
open-webui から質問します
これがかなり大変でした
アバウトな質問だとボタンやフォームが全く検索できないので結構しっかりとした質問にしなければ意図した動きをするのは難しいかなと思います
例えば Google で検索するだけでも以下のような質問が必要でした
puppeteer mcp を使ってブラウザを立ち上げてgoogle.comにアクセスしてhawksnowlogと検索してください、launchOptions で executablePath に "C:\Program Files\Google\Chrome\Application\chrome.exe" を使用してください、google.com にアクセス出来たら検索ボックスに hawksnowlog と入力し検索ボタンを押して下さい、検索ボックスの id は #APjFqb です
同じ質問でも動かないケースがあるのでかなり不安定でした
なぜか puppetter からデフォルトの chrome.exe が見えないことがあるようです
puppetter 起動時に launchOptions で executablePath というオプションがあるので LLM の質問を使ってうまくこのオプションを指定するようにしましょう
Windows11 上に mcp-server-puppetter をインストールして試してみました
質問をかなり工夫しないと思ったように動かないのでまだまだ発展途中かなと思います
LLM を変えたり別の mcp-server を使うのもありですが現状てっとり早いのは puppetter のコードをチャットで書いてもらって自分で実行するのが一番確実で速いと思います
更に kitchen-docker を使うので毎回クリーンな環境に対して実際にレシピを実行してテストすることができます
# frozen_string_literal: true
source 'https://rubygems.org'
group :development do
gem 'csv'
gem 'inspec'
gem 'kitchen-docker'
gem 'kitchen-inspec'
gem 'test-kitchen'
end
# frozen_string_literal: true
emacs_binary = '/usr/local/bin/emacs'
control 'emacs-install' do
impact 1.0
title 'Check Emacs installation'
describe file(emacs_binary) do
it { should exist }
it { should be_executable }
end
describe command("#{emacs_binary} --version") do
its('exit_status') { should eq 0 }
expect = /GNU Emacs/
its('stdout') { should match expect }
end
end
driver:
name: docker
provisioner:
name: chef_zero
platforms:
- name: ubuntu-22.04
suites:
- name: default
run_list:
- recipe[cookbooks-emacs::default]
attributes:
owner: root
group: root
verifier:
name: inspec
最初に kitchen でテストするようのイメージをビルドします
そしてそのイメージを元に chef を実行するコンテナが起動します
% docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
fe474147bd7b 3d1e259aa0fe "/usr/sbin/sshd -D -…" 36 minutes ago Exited (0) 27 minutes ago defaultubuntu2204-username-machinename-6n9j5hv9
% docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
<none> <none> 3d1e259aa0fe About an hour ago 241MB
name: Kitchen test
on:
push:
branches:
- "master"
jobs:
test:
runs-on: ubuntu-latest
steps:
- name: Checkout code
uses: actions/checkout@v4
- name: Set up Ruby
uses: ruby/setup-ruby@v1
with:
bundler-cache: true
- name: Install dependencies
run: bundle install
- name: Set up Docker
uses: docker/setup-docker-action@v3
- name: Run Test Kitchen
run: |
bundle exec kitchen test
env:
CHEF_LICENSE: accept
CHEF_LICENSE: accept を忘れずに設定しましょう
[2025-05-18T10:28:25+09:00] ERROR: Chef InSpec cannot execute without valid licenses.
基本は InSpec を使うのにライセンスが必要なのでライセンス登録をしましょう (有償)
もしくは verifier の name を shell にすることでも対応できます
kitchen-docker を使えば簡単に cookbooks をクリーンな環境で毎回テストできます
Github Action でも使えるので
minecraft-mcp-server を使って自然言語で建築などができる環境を構築、検証してみました
普通にシングルプレイヤーでワールドを作成します
そして ESC -> LANに公開で Claude から接続できるようにします
ポートはこの次の画面で設定しますが 25565 ポートでオープンしましょう
netstat -an | grep 25565
tcp46 0 0 *.25565 *.* LISTEN
{
"mcpServers": {
"minecraft": {
"command": "npx",
"args": [
"-y",
"github:yuniko-software/minecraft-mcp-server",
"--host",
"localhost",
"--port",
"25565",
"--username",
"ClaudeBot"
]
}
}
}
設定ファイルを記載したら claude を起動しましょう
マイクラ側に ClaudeBot が参加すれば準備 OK です
Claude で建築の指示を出してみましょう
実際に試してみるとわかりますが中々思うように動いてくれないようです
minecraft-mcp-server を試してみました
命令すると自動で動いているのは感動しますが動きが遅かったり中々思う通りに動いてくれないのでまだまだ発展の余地があるかなと思います
建築などを依頼するならバニラのような平地でないと厳しい気がします
基本はサバイバルモード前提で自分でブロックを採掘して何かしようとするのでたとえクリエイティブモードであってもブロックを勝手に補充したりとかはしないようです
自分はチートコマンドの /give を使ってある程度ブロックを与えて命令しました
また Claude の無料枠だとあっという間に制限がくるのでチャットに制限がないような環境でないと実用レベルでは難しいかなと思います
わざわざ insecure-registries に記載するのが面倒なので証明書がある場合は SSL 化しましょう
server:
addr: ":5000"
certificate: "/certs/fullchain.pem"
key: "/certs/privkey.pem"
pem ファイルは Let’s Encrypt で取得したものをそのまま利用します
services:
registry:
image: registry:2
ports:
- "5000:5000"
volumes:
- "/path/to/local/registry:/var/lib/registry"
- "/path/to/auth_config.yml:/config/auth_config.yml"
- "/etc/letsencrypt/live/your.domain.com/privkey.pem:/certs/privkey.pem"
- "/etc/letsencrypt/live/your.domain.com/fullchain.pem:/certs/fullchain.pem"
environment:
- REGISTRY_HTTP_TLS_CERTIFICATE=/certs/fullchain.pem
- REGISTRY_HTTP_TLS_KEY=/certs/privkey.pem
restart: always
ポイントはファイルを配置するだけではなくちゃんと環境変数の REGISTRY_HTTP_TLS_CERTIFICATE と REGISTRY_HTTP_TLS_KEY で配置したパスを指定する点です
insecure-registries なしで docker login できることを確認しましょう
もしくは
で SSL のエラーにならないことを確認しましょう
SSL を有効にした場合は逆に http が使えなくなるので注意しましょう
過去に docker_auth を使う方法を紹介しましたがもっと簡単になっているのでその方法を紹介します
users:
"user01":
password: "xxx"
password の部分は htpasswd -nB user01 で生成します
services:
registry:
image: registry:2
ports:
- "5000:5000"
volumes:
- "/path/to/local/registry:/var/lib/registry"
- "/path/to/auth_config.yml:/config/auth_config.yml"
restart: always
で認証付きでログインできることを確認しましょう
必要であれば /etc/docker/daemon.json に insecure-registries の設定を追記してください
設定ファイル一つで認証を追加できるようになっていました
LLM から Blender を操作して3Dモデリングができるようなのでやってみました
設定方法と簡単な動かし方を紹介します
{
"mcpServers": {
"blender": {
"command": "uvx",
"args": [
"blender-mcp"
]
}
}
}
claude を再起動してツールに blender が追加されていることを確認します
アドオンファイルをダウンロードし Blender を開いて追加します
addon.py を選択起動は Blender 側から行います
Blender の画面でサイドバーを表示 (ショートカットは N) をします
そして「Connect to MCP Server」をクリックし起動します
起動すると 9876 ポートで LISTEN します
これで準備完了です
あとは自然言語で命令すると勝手にモデリングしてくれます
ちゃんと色も付与されています ()
Claude デスクトップから Blender を操作し自然言語でモデルリングできる環境を構築しました
裏側では Python API が使われてモデリングしているようです
あとはどこまで複雑な命令を実行してくれるかかなと思います
Claude の無料枠だとすぐにトークンの制限になるのでなかなか細かいしていは難しいような気がします
apt でインストールできます
headless でも使えるのでインストールしておくと便利かもです
対応方法を紹介します
N: Missing Signed-By in the sources.list(5) entry for 'https://esm.ubuntu.com/apps/ubuntu'
Types: deb
URIs: https://esm.ubuntu.com/apps/ubuntu
Suites: noble-apps-security noble-apps-updates
Components: main
Signed-By: /etc/apt/trusted.gpg.d/ubuntu-pro-esm-apps.gpg
最後の Signed-By: /etc/apt/trusted.gpg.d/ubuntu-pro-esm-apps.gpg の部分を追記しましょう
なぜか Ubuntu 24.04 にしたときに消えていたようです
また ubuntu-esm-apps.list.distUpgrade などのファイルがありますがこちらに signed-by などを記載しても解消しないので注意しましょう
Ubuntu pro に申し込んでいて do-release-upgrade した場合に出る可能性があるので出たら対応しましょう
例のごとく mlx-examples を使います
基本はクローンして pip install して python で実行するだけです
だいたい1枚の生成で1分から2分ほどで完了します
生成される画像のサイズは528x528になります
txt2image.py では stabilityai/sdxl-turbo を使っているようです
モデルを変更したい場合は好きなモデルをダウンロードして model オプションを指定するか直接ファイルを編集しても OK です
初回はモデルのダウンロードが走り15GBほどダウンロードするのでディスクに注意しましょう
過去に sd-webui や sd-webui-forge のやり方を紹介しましたが Apple Sillicon の GPU をフルで使いたいならやはり mlx を使った方法が一番かもしれません
各種設定などは前回のものを流用しています
{
"mcpServers": {
"filesystem": {
"command": "npx",
"args": [
"-y",
"@modelcontextprotocol/server-filesystem",
"/home/devops"
]
}
}
}
/home/devops の部分は MCP サーバにファイルやディレクトリの操作を許可するパスをフルパスで指定します
これは前回までと全く同じです
URL は適宜変更してください
設定 -> ツール -> 追加
http://192.168.0.100:8000/filesystemあとは質問するだけですがいろいろと工夫が必要だったのでポイントを紹介します
.*\\.py」というマッチしない条件になったりするcurl -X POST \
-H "Authorization: Bearer top-secret" \
-H "Content-Type: application/json" \
-d '{"path": "/home/devops/api", "pattern": "py", "excludePatterns": []}' \
http://localhost:8000/filesystem/search_files
Filesystem MCP サーバを OpenWebUI に導入してみました
自然言語でローカルのファイルを操作できるようになるのは便利かなと思います
ただシェルが扱えればわざわざ MCP サーバを導入するレベルでもないかなとは思いました
前回 open-webui から mcp サーバに接続する方法法を紹介しました
今回は localhost にある mysql サーバに接続しいろいろな操作を試してみます
なお INSERT,UPDATE,DELETE も行える設定なのでテスト用のテーブルなどに対して行いましょう
mcp-server-mysql は nodejs で動作するので nodejs が動作する環境を準備します
何でも OK ですが今回は nvm を使う方法を紹介します
ここで保存された .nvmrc があるパスで MCPO を動かします
mcpServers に追記します
今回は INSERT,UPDATE,DELETE も試したいので ALLOW_INSERT_OPERATION などは true に設定しています
{
"mcpServers": {
"time": {
"command": "docker",
"args": ["run", "-i", "--rm", "mcp/time"]
},
"mcp_server_mysql": {
"command": "npx",
"args": [
"-y",
"@benborla29/mcp-server-mysql"
],
"env": {
"MYSQL_HOST": "127.0.0.1",
"MYSQL_PORT": "3306",
"MYSQL_USER": "test",
"MYSQL_PASS": "xxx",
"MYSQL_DB": "devops",
"ALLOW_INSERT_OPERATION": "true",
"ALLOW_UPDATE_OPERATION": "true",
"ALLOW_DELETE_OPERATION": "true"
}
}
}
}
localhost で mysql -u test-p devops -h 127.0.0.1 でアクセスできれば上記でもアクセスできます
先ほど作成した .nvmrc と config.json があるパスで実行します
open-webui から行います
uri の部分は config.json に定義した MCP サーバのキー情報を入力します
Bearer は api_key で指定した情報をしていします
接続テストもしておきましょう
チャット上のツールが増えていることを確認します
あとはテーブル情報などを含めて質問することでいろいろな操作をしてくれます
MCPO のログを見ると実際に投げている SQL の情報なども確認できます
open-webui + mcp-server-mysql を試してみました
自然言語でデータベースを操作できる時代が本格的に到来したなと実感しました
以下は試してみた感想です
本番ではまだ使わないほうが安全かなと思います
命令を詳細にすれば実用レベルになる気はします
OpenWebUI 上でも MCP サーバと連携していろいろなエージェントや拡張ツールを動かすことができるので試してみました
今回は簡単な mcp/time サーバを使って LLM 経由で現在時刻が取得できるようにしてみます
litellm と open-webui は前回の記事を元に起動中とします
compose.yaml、litellm_config.yaml、.env を用意して起動しておきます
mcpo は Python 制のツールなので pip でインストールできます
mcpo 経由でローカルホストにアクセスしたりするので可能な限り mcpo で操作させたいホストで直接起動しましょう
で OK です
上記では pipenv を使って venv 上にインストールしていますが問題なければグローバルにインストールしても OK です
この config.json は一般的な MCP サーバ用の config.json と同じになります
起動したいコマンド (MCP サーバ) を羅列していけば OK です
{
"mcpServers": {
"time": {
"command": "docker",
"args": ["run", "-i", "--rm", "mcp/time"]
}
}
}
ここでローカルマシン上に mcp/time コンテナを起動する定義を記載します
先程も記載しましたが可能な限りコマンドなどを実行するホスト上で直接動かしましょう
ここで設定した api-key は open-webui から mcpo サーバに接続するときに使います
これで docker の状態は以下のようになります
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
385829c1f469 mcp/time "mcp-server-time" About a minute ago Up About a minute beautiful_bassi
26cb3f21bde5 ghcr.io/open-webui/open-webui:main "bash start.sh" 22 minutes ago Up 22 minutes (healthy) 0.0.0.0:3000->8080/tcp, [::]:3000->8080/tcp open-webui
e38fe5175159 ghcr.io/berriai/litellm:main-latest "docker/prod_entrypo…" 22 minutes ago Up 22 minutes 0.0.0.0:4000->4000/tcp, :::4000->4000/tcp litellm
あとは open-webui 上から MCPO サーバに接続する設定をすれば OK です
設定からツールで MCPO を新規ツールとして接続します
ブラウザから直接アクセスするので localhost や local IP ではなくブラウザからアクセスできる IP アドレスを指定しましょう
また Bearer トークンに先ほど設定したシークレット情報を入力します
くるくるマークを押すと接続テストができるのでここでちゃんと接続できるか確認しておきましょう
あとはチャットに戻り MCPO 経由で質問できるか確認します
まずチャット画面上でツールが有効になっているか確認します
ツールの数が 1 になっていれば OK です
また詳細を確認すると実際に MCPO で使えるコマンドが表示されます
あとは質問してみましょう
こんな感じでちゃんと MCPO 経由で回答が来ていることが確認できます
MCPO 側にも以下のようなログがあることが確認できると思います
INFO: 192.168.100.2:30848 - "POST /time/get_current_time HTTP/1.1" 200 OK
OpenWebUI で MCP と連携する方法を紹介しました
過去に紹介した Claude などは
で直接通信していましたが OpenWebUI の場合は
という感じで真ん中に一つ中継プロセスが入るのでそこが違います
そこまで負荷に影響はないですが挙動が少し異なるので認識しておきましょう
MCP サーバを追加したい場合は config.json に追記すれば OK です
MCP サーバも基本的にはローカルホストで起動するので追加しすぎると負荷になるので注意しましょう
WEBUI_AUTH=True にした際にデフォルトの admin ユーザでログインする方法を紹介します
すると自動で admin ユーザが作成されます
WEBUI_AUTH=False 状態で起動したあとで管理者パネルからユーザの一覧を表示します
そして admin ユーザのパスワードを設定します
そしてメールアドレスに admin@localhost パスワードは先程設定した admin ユーザ用のパスワードでログインすることができます
OAUTH のサインアップ画面などを用意することもできるようなのですがメールサーバなどが必要になりそうだったのでてっとり早く admin ユーザを作成する方法を紹介しました
Gemini を LiteLLM Proxy でコールし OpenWebUI は LiteLLM Proxy に対してコールします
Gemini のエンドポイントはカスタムエンドポイントとします
過去に Azure OpenAI でやったバージョンの Gemini 版になります
OpenWebUI が起動できたらモデルの設定を開き高度な設定から「Stream Chat Response」をオフにしましょう
services:
openwebui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
ports:
- "3000:8080"
volumes:
- open-webui:/app/backend/data
extra_hosts:
- "host.docker.internal:host-gateway"
environment:
- WEBUI_AUTH=False
# - OPENAI_API_KEY=${MASTER_KEY}
- OPENAI_API_BASE_URL=http://host.docker.internal:4000/v1
restart: always
litellm:
image: ghcr.io/berriai/litellm:main-latest
container_name: litellm
ports:
- "4000:4000"
volumes:
- ./litellm_config.yaml:/app/config.yaml
environment:
- GEMINI_API_BASE=${GEMINI_API_BASE}
- GEMINI_API_KEY=${GEMINI_API_KEY}
command: --config /app/config.yaml --port 4000 --detailed_debug
restart: always
volumes:
open-webui:
model_list:
- model_name: gemini/gemini-2.0-flash
litellm_params:
model: gemini/gemini-2.0-flash
api_base: os.environ/GEMINI_API_BASE # runs os.getenv("GEMINI_API_BASE")
api_key: os.environ/GEMINI_API_KEY # runs os.getenv("GEMINI_API_KEY")
api_version: ""
GEMINI_API_KEY=xxx
GEMINI_API_BASE=https://your-api-endpoint/ai/chat-ai/flash
で 3000 ポートにアクセスしコンソールから質問できることを確認しましょう
どうやら OpenWebUI からだとストリーム API のレスポンス形式は想定しておらず generateContent のレスポンスを使っているっぽいのでオフにしてあげる必要がありました
Gemini のカスタムエンドポイントを使う場合には設定してみるといいかなと思います
OpenWebUI で Gemini を使う場合には Pipeline を使うのが王道ですが LiteLLM Proxy でも動作するようです
カスタムメソッド部分は指定しないのがポイントです
import dspy
lm = dspy.LM(
"gemini/gemini-1.5-pro",
api_key="xxx",
api_version="",
api_base="https://your-api-endpoint/ai/chat-ai/pro",
)
dspy.configure(lm=lm)
result = lm("Are you gemini pro 1.5?", temperature=0.7)
print(result)
内部的には LiteLLM なので LiteLLM でコールできるエンドポイントは dspy でもコールできます