概要
結論としてはまともに動きません
公式にもありますがやはり 70b レベルのモデルが必要です
Compatibility Note: Strix relies on advanced agentic capabilities (tool use, multi-step planning, self-correction). Most local models, especially those under 70B parameters, struggle with these complex tasks.
For critical assessments, we strongly recommend using state-of-the-art cloud models like Claude 4.5 Sonnet or GPT-5. Use local models only when privacy is the absolute priority.
自分で検証した結果を記載します
どのモデルもコンテキストサイズは8192でnum_predictは-1に設定しています
環境
- macOS 26.6.2
- ollama 0.40.8
qwen3-vl:8b
time=2026-10-26T16:17:55.276+09:00 level=WARN source=qwen3vl.go:97 msg="qwen tool call parsing failed" error="invalid character 'X' looking for beginning of value"
でエラー
qwen3.5:9b-mlx
panic: mlx: [METAL] Command buffer execution failed: Insufficient Memory (00000008:kIOGPUCommandBufferCallbackErrorOutOfMemory). at mlx/c/transforms.cpp:73
でエラー
qwen3.5:4b-mlx
[GIN] 2026/10/26 - 18:44:01 | 500 | 5m0s | 192.168.1.100 | POST "/api/chat"
でエラー
最後に
もう少し頑張りたい気もしますが厳しい状況です
最後の 500 エラーは推論時間が長過ぎるエラーなので何かしらのパラメータで調整できないか調査しています