概要
前回 Hermes CLI + litellm を試しました
今回は Aider CLI を試してみます
なお LLM は gpt を使い設定は Hermes と同じでいけます
環境
- Ubuntu 24.04
- Aider 0.86.2
- litellm 1.90.2
インストール
-
curl -LsSf https://aider.chat/install.sh | sh
litellm_config.yaml
Azure OpenAI の gpt-5.1 をモデルを使う場合は以下のようにします
モデル名は適宜変更してください
model_list:
- model_name: chatAI
litellm_params:
model: azure/gpt-5.1
api_base: https://your-custom-endpoint/gpt-5.1
api_key: os.environ/AI_SERVICE_API_KEY
max_tokens: 4096
temperature: 0.2
rpm: 30
tpm: 60000
model_info:
base_model: azure/gpt-5.1
litellm_settings:
drop_params: true
general_settings:
global_max_parallel_requests: 1
max_parallel_requests: 1
max_request_size_mb: 10
router_settings:
num_retries: 0
retry_after: 20
allowed_fails: 1
cooldown_time: 180
timeout: 120
stream_timeout: 120
server_settings:
port: 4000
compose.yaml
litellm を起動します
services:
litellm:
image: docker.litellm.ai/berriai/litellm:latest
container_name: litellm
environment:
- AI_SERVICE_API_KEY=${AI_SERVICE_API_KEY}
ports:
- "4000:4000"
volumes:
- ./litellm_config.yaml:/app/config.yaml
restart: unless-stopped
command: ["--config", "/app/config.yaml"]
動作確認
-
export AI_SERVICE_API_KEY=secret
- docker compose up -d
で LiteLLM を起動します
-
export OPENAI_API_BASE=http://localhost:4000/v1
-
export OPENAI_API_KEY=dummy
-
aider --model openai/chatAI
設定ファイルではなく環境変数で LiteLLM に向けます
aider が OpenAI 互換の API を使うように openai/ というプレフィックスを付与してプロバイダ名を指定します
最後に
Aider + LiteLLM の設定を紹介しました
Aider 自体が内部的に LiteLLM を使っているので簡単に呼べるようになっていました
0 件のコメント:
コメントを投稿