Hermes CLI + litellm で独自のエンドポイントを使う方法

• 概要
• 環境
• インストール
• ~/.hermes/config.yaml
• litellm_config.yaml
• compose.yaml
• 動作確認
• 最後に
• 参考サイト

概要

前回 gemini-cli でカスタムエンドポイントを使う方法を紹介しました
今回は Hermes CLI でカスタムエンドポイントを紹介します
ただ gemini は使えなかったので gpt を使います (前回のように Python で頑張ればできるかもです)

環境

• Ubuntu 24.04
• hermes cli 0.18.2
  • python 3.11.15

インストール

• curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash

~/.hermes/config.yaml

hermes cli からは litellm を使うように指定します
デフォルトだと他にも設定項目がいろいろありますが model の部分だけ以下のように修正してください
それ以外の項目はそのままで OK です

model:
  default: chatAI
  provider: custom
  base_url: http://localhost:4000/v1
  api_key: dummy

litellm_config.yaml

Azure OpenAI の gpt-5.1 をモデルを使う場合は以下のようにします
モデル名は適宜変更してください

model_list:
  - model_name: chatAI
    litellm_params:
      model: azure/gpt-5.1
      api_base: https://your-custom-endpoint/gpt-5.1
      api_key: os.environ/AI_SERVICE_API_KEY
      max_tokens: 4096
      temperature: 0.2
      rpm: 30
      tpm: 60000
    model_info:
      base_model: azure/gpt-5.1

litellm_settings:
  drop_params: true

general_settings:
  global_max_parallel_requests: 1
  max_parallel_requests: 1
  max_request_size_mb: 10

router_settings:
  num_retries: 0
  retry_after: 20
  allowed_fails: 1
  cooldown_time: 180
  timeout: 120
  stream_timeout: 120

server_settings:
  port: 4000

compose.yaml

litellm を起動します

services:
  litellm:
    image: docker.litellm.ai/berriai/litellm:latest
    container_name: litellm
    environment:
      - AI_SERVICE_API_KEY=${AI_SERVICE_API_KEY}
    ports:
      - "4000:4000"
    volumes:
      - ./litellm_config.yaml:/app/config.yaml
    restart: unless-stopped
    command: ["--config", "/app/config.yaml"]

動作確認

• export AI_SERVICE_API_KEY=secret
• docker compose up -d
• hermes

最後に

Hermes CLI + litellm でカスタムエンドポイントを設定する方法を紹介しました
Hermes CLI 自体は Google AI Studio に対応しているので使えます
設定しているカスタムエンドポイント側の gemini が function calling や web_search に対応していなかったりリクエストやレスポンスの形式が少し異なる場合にはそのままでは使えません

前回のように Python なりでプロキシを立てて工夫する必要がありそうです

参考サイト

• https://hermes-agent.nousresearch.com/docs/user-guide/configuration