2026年10月26日月曜日

strix + local ollama + qwen3-vl:8b

strix + local ollama + qwen3-vl:8b

概要

とりあえず動くけどマシンスペックかなりいります

環境

  • ollama 0.40.6
  • strix 1.7.0
  • Ubuntu 24.04

pull

  • ollama pull qwen3-vl:8b

ollama のコンテキストサイズは 65536 です

実行

  • export STRIX_LLM="ollama/qwen3-vl:8b"
  • export LLM_API_BASE="http://localhost:11434"
  • strix --target .

最後に

一応これで動きます
8b レベルだとそこまで精度が出ないのでスペックに余裕がある場合はもっとパラメータの多いモデルを使いましょう
strix 的にはローカル LLM では qwen がオススメのようです

参考サイト

0 件のコメント:

コメントを投稿