dspy.ai で Azure 互換のカスタムエンドポイントを設定する方法

• 概要
• 環境
• サンプルコード
• ポイント
• 最後に
• 参考サイト

概要

Azure の OpenAI 互換だがエンドポイントが異なる場合に dspy を使う方法を紹介します

環境

• Python 3.11.3
• dspy 2.5.43

サンプルコード

import dspy

lm = dspy.LM(
    "azure/gpt-4-32k",
    api_key="xxx",
    api_version="",
    api_base="https://your-api-endpoint/ai/chat-ai/gpt4",
)
dspy.configure(lm=lm)

result = lm("Say this is a test!", temperature=0.7)
print(result)

ポイント

• モデルの prefix は azure/ から始めること
• api_base に独自の Azure 互換エンドポイントを設定すること
• api_version は空で OK

最後に

内部的には litellm のプロバイダを使っているので litellm の使い方がわかっていれば簡単に他のプロバイダも設定できると思います

参考サイト

• https://docs.litellm.ai/docs/providers
• https://dspy.ai/