概要
前回 LiteLLM を使って Azure OpenAI のカスタムエンドポイントを指定する方法を紹介しました
今回は Open-WebUI を起動して独自の Web Chat コンソールを構築します
環境
- docker 27.3.1
- Ubuntu 24.04
- litellm-proxy v1.67.0-stable
- open-webui 0.6.5
litellm_config.yaml
.env
キー情報を記載します
AZURE_API_KEY=b4xxx
compose.yaml
OpenWebUI -> LiteLLM は内部的に通信します
サービス経由でも問題ないかもです
services:
openwebui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
ports:
- "3000:8080"
volumes:
- open-webui:/app/backend/data
extra_hosts:
- "host.docker.internal:host-gateway"
environment:
- WEBUI_AUTH=False
- OPENAI_API_BASE_URL=http://host.docker.internal:4000/v1
restart: always
litellm:
image: ghcr.io/berriai/litellm:main-latest
container_name: litellm
ports:
- "4000:4000"
volumes:
- ./litellm_config.yaml:/app/config.yaml
environment:
- AZURE_API_BASE=https://your-custom-azure-endpoint/chat-ai/gpt4
- AZURE_API_KEY=${AZURE_API_KEY}
command: --config /app/config.yaml --port 4000
restart: always
volumes:
open-webui:
動作確認
- docker compose up -d
で起動し :3000 ポートにアクセスすると Open WebUI にアクセスできます
チャットの履歴は今回コンテナボリュームを使っていますが必要であればデータベースなどに保存しても OK です
最後に
OpenWebUI + LiteLLM Proxy を使って Azure のカスタムエンドポイント用に専用の Chat UI を構築してみました
OpenAI API 以外のエンドポイントでは基本的に LiteLLM Proxy を使うのが主流のようです
0 件のコメント:
コメントを投稿