ollama で huggingface にあるモデルを動かす方法

• 概要
• 環境
• コマンド
• 最後に
• 参考サイト

概要

GGUF 形式のモデルであれば ollama run で直接使えるようです
自分で Modelfile などを用意してビルドする必要はないようです

環境

• macOS 15.4.1
• ollama 0.6.6

コマンド

• ollama run hf.co/elyza/Llama-3-ELYZA-JP-8B-GGUF

quantization (量子化) 情報を指定したい場合はタグとして指定します

• ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

最後に

簡単にモデルの切り替えができるので便利です

参考サイト

• https://huggingface.co/docs/hub/ollama