2026年7月22日水曜日

Aider CLI + litellm で独自のエンドポイントを使う方法

Aider CLI + litellm で独自のエンドポイントを使う方法

概要

前回 Hermes CLI + litellm を試しました
今回は Aider CLI を試してみます

なお LLM は gpt を使い設定は Hermes と同じでいけます

環境

  • Ubuntu 24.04
  • Aider 0.86.2
  • litellm 1.90.2

インストール

  • curl -LsSf https://aider.chat/install.sh | sh

litellm_config.yaml

Azure OpenAI の gpt-5.1 をモデルを使う場合は以下のようにします
モデル名は適宜変更してください

model_list:
  - model_name: chatAI
    litellm_params:
      model: azure/gpt-5.1
      api_base: https://your-custom-endpoint/gpt-5.1
      api_key: os.environ/AI_SERVICE_API_KEY
      max_tokens: 4096
      temperature: 0.2
      rpm: 30
      tpm: 60000
    model_info:
      base_model: azure/gpt-5.1

litellm_settings:
  drop_params: true

general_settings:
  global_max_parallel_requests: 1
  max_parallel_requests: 1
  max_request_size_mb: 10

router_settings:
  num_retries: 0
  retry_after: 20
  allowed_fails: 1
  cooldown_time: 180
  timeout: 120
  stream_timeout: 120

server_settings:
  port: 4000

compose.yaml

litellm を起動します

services:
  litellm:
    image: docker.litellm.ai/berriai/litellm:latest
    container_name: litellm
    environment:
      - AI_SERVICE_API_KEY=${AI_SERVICE_API_KEY}
    ports:
      - "4000:4000"
    volumes:
      - ./litellm_config.yaml:/app/config.yaml
    restart: unless-stopped
    command: ["--config", "/app/config.yaml"]

動作確認

  • export AI_SERVICE_API_KEY=secret
  • docker compose up -d

で LiteLLM を起動します

  • export OPENAI_API_BASE=http://localhost:4000/v1
  • export OPENAI_API_KEY=dummy
  • aider --model openai/chatAI

設定ファイルではなく環境変数で LiteLLM に向けます
aider が OpenAI 互換の API を使うように openai/ というプレフィックスを付与してプロバイダ名を指定します

最後に

Aider + LiteLLM の設定を紹介しました
Aider 自体が内部的に LiteLLM を使っているので簡単に呼べるようになっていました

参考サイト

0 件のコメント:

コメントを投稿