これまでの試験は文字だけを扱った。閉域網では、画面の写しや紙の資料を撮った画像から内容を読みたい場面がある。 mmproj を持つモデルで、実際に使える読み取りの正しさと速さが出るかを確かめ、使うモデルを決める。
手持ちのうち mmproj があるもの。サーバは --mmproj で mmproj を渡して起動する。
| モデル | 本体 | mmproj | 備考 |
|---|---|---|---|
| Ministral-3-3B-Instruct-2512 | 2.0 GB | 0.8 GB | 最小 |
| gemma-4-E2B-it | 3.2 GB | 0.9 GB | |
| Bonsai-27B（Q1_0） | 3.5 GB | 0.9 GB | |
| gemma-4-E4B-it-qat | 3.9 GB | 0.9 GB | 取得中 |
| gemma-4-E4B-it | 5.0 GB | 0.9 GB | 文字の試験で最も良かった |
| Qwen3.5-9B | 5.2 GB | 0.9 GB | |
| Ornith-1.0-9B | 5.3 GB | 0.9 GB | 取得中 |
| gemma-4-12B-it-QAT | 6.5 GB | 0.2 GB | 文字の試験で最も良かった |
| gemma-4-12B-it | 6.9 GB | 0.2 GB | |
| Ministral-3-14B-Reasoning-2512 | 7.7 GB | 0.8 GB | |
| Muse-Glimmer-30B | 14.8 GB | 1.9 GB | 取得中 |
| Qwen3.8-27B | 15.3 GB | 0.9 GB | 取得中 |
画像は試験スクリプトで作る。正解が決まっていて、著作物を含まず、何度でも同じ画像を作り直せるようにする。
| 記号 | 画像 | 問 | 合格の条件 |
|---|---|---|---|
| ocr-ja | 日本語の文 3 行と数字（例: 型番・金額・日付）を描いた画像 | 書かれている文字をそのまま書き出して | 決めた語と数字がすべて答えにある |
| table | 4 行 3 列の表（品名・数量・単価） | 数量の合計はいくつ？ | 正しい合計がある |
| chart | 5 本の棒グラフ（項目名と値のラベル付き） | いちばん大きい項目と、その値は？ | 項目名と値の両方がある |
| screen | エラーの窓を模した画面（題名・メッセージ・ボタン） | 何のエラーで、どうすればよいと書いてある？ | エラーの語と、対処の語がある |
答えの判定は、sum の試験と同じく決めた語の有無で機械的に行う。読み間違いの形（似た字の取り違え・桁の抜け）は記録に残す。
/v1/chat/completions に、画像を base64 の image_url で添えて送るimage.png を見て〜」と頼む測るスクリプトは tools/50_run/test-vision.ps1（画像を作るところも含む）、判定は sum-judge.ps1 と同じく関数にしてテストを書く。
--help の説明）。閉域網では取りにいけないので、試験では --mmproj で手元のファイルを必ず渡す