概要
とりあえず動くけどマシンスペックかなりいります
環境
- ollama 0.40.6
- strix 1.7.0
- Ubuntu 24.04
pull
- ollama pull qwen3-vl:8b
ollama のコンテキストサイズは 65536 です
実行
-
export STRIX_LLM="ollama/qwen3-vl:8b"
-
export LLM_API_BASE="http://localhost:11434"
-
strix --target .
最後に
一応これで動きます
8b レベルだとそこまで精度が出ないのでスペックに余裕がある場合はもっとパラメータの多いモデルを使いましょう
strix 的にはローカル LLM では qwen がオススメのようです
0 件のコメント:
コメントを投稿