M2 pro mac mini + ollama + strix メモ

• 概要
• 環境
• qwen3-vl:8b
• qwen3.5:9b-mlx
• qwen3.5:4b-mlx
• 最後に

概要

結論としてはまともに動きません
公式にもありますがやはり 70b レベルのモデルが必要です

Compatibility Note: Strix relies on advanced agentic capabilities (tool use, multi-step planning, self-correction). Most local models, especially those under 70B parameters, struggle with these complex tasks.
For critical assessments, we strongly recommend using state-of-the-art cloud models like Claude 4.5 Sonnet or GPT-5. Use local models only when privacy is the absolute priority.

自分で検証した結果を記載します
どのモデルもコンテキストサイズは8192でnum_predictは-1に設定しています

環境

• macOS 26.6.2
• ollama 0.40.8

qwen3-vl:8b

time=2026-10-26T16:17:55.276+09:00 level=WARN source=qwen3vl.go:97 msg="qwen tool call parsing failed" error="invalid character 'X' looking for beginning of value"

でエラー

qwen3.5:9b-mlx

panic: mlx: [METAL] Command buffer execution failed: Insufficient Memory (00000008:kIOGPUCommandBufferCallbackErrorOutOfMemory). at mlx/c/transforms.cpp:73

でエラー

qwen3.5:4b-mlx

[GIN] 2026/10/26 - 18:44:01 | 500 |          5m0s |   192.168.1.100 | POST     "/api/chat"

でエラー

最後に

もう少し頑張りたい気もしますが厳しい状況です
最後の 500 エラーは推論時間が長過ぎるエラーなので何かしらのパラメータで調整できないか調査しています