ローカルLLM で AI エージェントを使う — 試験結果の根拠となる記録である。 試し方、試験の途中で起きたことと対処、最初に流した試験(共通ルールを読ませた状態)の結果、流したすべての試験を残す。 設定の中身と動かし方は使う・試す手順にある。
tools/50_run/test-cc.ps1 — 1 モデルを起動し、Claude Code に 1 問投げる。所要時間・ターン数・回答を logs/test-cc/ に残すtools/50_run/test-cc-tools.ps1 — モデルを小さい順(-Only を渡したときは書いた順)に 1 本ずつ起動し、Claude Code で読みと書きの 2 問を試す。結果は logs/test-cc-tools/ に JSON Lines で残すtools/50_run/test-agents.ps1 — 同じ 2 問を Pi・OpenCode・Aider・Codex CLI で試す。質問はコマンド行に載せるため英語にした。結果は logs/test-agents/
Claude Code は環境変数(ANTHROPIC_BASE_URL ほか、root の cc1.cmd と同じもの)で接続先を切り替え、claude -p を非対話で走らせる。
経緯の 10 より後は、どのエージェントもリポジトリの外に置いた作業用のコピー(W:/temp/llama-cp-sandbox)の中で動かし、コピーは 1 問ごとに作り直した。
-c 65536 -np 1 -nkvo -ctk q8_0 -ctv q8_0 -fa on
3.2GB 以下は -ngl 99、それより大きいものは -ngl を渡さず自動配置
| 問 | 質問 | 合格 |
|---|---|---|
| 読み | README.html を Read ツールで読み、最初の h1 要素の文字列だけを答える | 回答に「ローカルLLM 実行環境」が入っている(読まないと分からない) |
| 書き | Write ツールで tmp/ にファイルを作り、決めた 1 行を書く | そのファイルが実際にでき、中身が一致する |
1 問の待ち時間は 10〜15 分。超えたものは時間切れとして記録し、あとで 1 時間の枠で試し直した。
この資料の試験(2026-09-28 21:34 〜 10-01 01:42)は、次の版で行った。 版はあとから 2026-10-01 に確かめたもので、試験の途中でエージェントが自動で更新されていた可能性は否定できない。
| もの | 版 | 備考 |
|---|---|---|
| llama.cpp | b10612(commit 758443071) | Windows 向け CUDA 12.4 版の配布バイナリ |
| Claude Code | 2.1.286 | |
| Pi | 0.87.1 | |
| OpenCode | 1.18.33 | |
| Codex CLI | 0.158.0 | |
| Aider | 0.86.2 | |
| Node.js | v26.8.1 | Pi・OpenCode・Codex の土台 |
2026-10-01 以降の試験では、試験スクリプトが結果ファイル(*-results.jsonl)の各行に、エージェント・llama.cpp・Node.js の版を書き込む。
| もの | 試験した版 | 上げた版 | 備考 |
|---|---|---|---|
| llama.cpp | b10612 | b11320(commit b8f96c3e8) | 同じ CUDA 12.4 版。前の版は bin\llama.cpp-b10612 に残した。ビルドは 1 日に何十も出るため、この版で止める |
| Claude Code | 2.1.286 | 2.1.286 | 最新のまま |
| Pi | 0.87.1 | 0.99.2 | |
| OpenCode | 1.18.33 | 1.18.34 | |
| Codex CLI | 0.158.0 | 0.159.3 | |
| Aider | 0.86.2 | 0.86.2 | 最新のまま |
| Node.js | v26.8.1 | v26.10.0 |
どれも 2026-10-01 22:50 時点の最新。Pi・Codex・OpenCode を npm で入れたとき、npm が一部のパッケージのインストール時スクリプト(esbuild など)を止めた。動くかは再テストで確かめる。
| 回 | 起きたこと | 対処 |
|---|---|---|
| 1 | 最初の要求を読み込んでいる途中(43,008 トークン・80 秒)で、Claude Code がメモリ不足としてコマンドを止めた | プロジェクトの .claude/settings.json の env に CLAUDE_CODE_DISABLE_BG_SHELL_PRESSURE_REAP=1 を入れ、セッションを開き直した |
| 2 | 168 秒で応答が返ったが、答えが README と違い、出力も文字化けしていた | 出力を --output-format json でファイルに受け、UTF-8 として読むようにした |
| 3 | 206 秒で返ったが、質問そのものが化けていた(コマンド行に載せると CP932 になる) | 質問を UTF-8 のファイルにし、標準入力から渡すようにした |
| 4 | 質問は正しく届いた。171 秒で返ったが、ターン数 1 でツールを呼ばずに答えを作っていた(Qwen3-4B-Instruct) | モデルを替える |
| 5 | gpt-oss-20b(--n-cpu-moe 18)は 25 分でタイムアウト。やり取りは続いていたが、深いコンテキストで生成が 2.8 tok/s まで落ちた(短い文脈では 19 tok/s) | 10GB 未満の全モデルで試す(第 2 章) |
| 6 | 13 本とも読み・書きの両方には通らない。4 本はチャットテンプレートが途中の system を例外にして 500 エラー | テンプレートを取り出し、途中の system を通すように直した |
| 7 | 最初に送る 60,000 トークンのうち、共通ルールだけで 41,320 トークンあった(gpt-oss-20b のトークナイザで計数) | USERPROFILE・HOME を空のフォルダに向け、ルールを読ませない |
| 8 | ルールなしで多くが合格。思考を出すモデルは長く考えて時間切れになる | --reasoning off を足す(結果は試験結果の第 2 章) |
| 9 | Claude Code の試験が二重に走り、並行して始めたエージェントの試験とも重なった。起動に使った cmd ファイルが実行中に書き換えられたため(cmd.exe はバッチファイルを 1 行ずつ読む)。Windows では 2 つの llama-server が同じポートを取れてしまい、エラーにならずに結果が混ざった | 重なった回を無効にし、1 つずつ流し直した。長い試験は ps1 を直接呼ぶ |
| 10 | エージェントの試験で、Aider がプロジェクトの README.html を 2 行に上書きした | git から戻し、試験は作業用のコピーの中で動かすようにした |
| 11 | 作業用のコピーをリポジトリの中に置くと、Qwen 系がリポジトリの root を推測して本物に読み書きしにいった(Claude Code が作業フォルダの外として拒否) | 作業用のコピーをリポジトリの外(W:/temp)へ |
| 12 | それでもプロジェクトのパスへ書きにいった。指示文に書かれるメモリの置き場が、プロジェクトの中の空のホームだったため | 空のホームも外へ移した。以後は本物を狙う呼び出しが無くなった |
| 13 | Codex CLI は -s workspace-write では、ファイルを読み書きする PowerShell のコマンドが policy で止められた(rejected: blocked by policy) | --dangerously-bypass-approvals-and-sandbox を付け、作業用のコピーの中で利用者が実行した |
--yes-always を付けると確認なしで上書きする。
コードは git から戻せても、コミット前の変更は戻らない。
2026-09-28 22:28 から流した 1 回分。秒数は claude -p が終わるまでの時間。
| モデル | サイズ | 読み | 書き | 何が起きたか |
|---|---|---|---|---|
| Ministral-3-3B-Instruct-2512 | 2.00 GB | 不可 | 不可 | サーバが 500 を返す。チャットテンプレートの実行でエラー |
| Qwen3-4B-Instruct-2507 | 2.33 GB | 不可 | 書けた | 読み: 188 秒・1 ターン、読まずに作成日の行を答えた。書き: ファイルは正しくできたが 10 分でタイムアウト |
| Qwen3-4B-Thinking-2507 | 2.33 GB | 時間切れ | 時間切れ | どちらも 10 分で返らない。ファイルもできない |
| NVIDIA-Nemotron-3-Nano-4B | 2.64 GB | 時間切れ | 時間切れ | 同上 |
| gemma-4-E2B-it | 3.19 GB | 時間切れ | 合格 | 書き: 480 秒・3 ターンで終わり、ファイルも一致。ただし最後の回答は質問と関係のない要約だった |
| Bonsai-27B(Q1_0) | 3.54 GB | 不可 | 不可 | サーバが 500 を返す。チャットテンプレートの実行でエラー |
| gemma-4-E4B-it | 4.97 GB | 時間切れ | 書けた | 書き: ファイルは正しくできたが 10 分でタイムアウト |
| Qwen3.5-9B | 5.24 GB | 不可 | 不可 | サーバが 500 を返す。チャットテンプレートの実行でエラー |
| GLM-4.6V-Flash | 5.74 GB | 時間切れ | 時間切れ | どちらも 10 分で返らない |
| gemma-4-12B-it-QAT | 6.50 GB | 時間切れ | 時間切れ | 同上。ファイルもできない |
| gemma-4-12B-it | 6.87 GB | 時間切れ | 書けた | 書き: ファイルは正しくできたが 10 分でタイムアウト |
| Ministral-3-14B-Reasoning-2512 | 7.67 GB | 不可 | 不可 | サーバが 500 を返す。チャットテンプレートの実行でエラー |
| Qwen2.5-Coder-14B-Instruct | 8.37 GB | 不可 | 不可 | 400。モデルの上限 32768 に対し、要求が約 60,000 トークンで入らない |
2026-09-28 21:34 から 09-30 07:02 までに流した試験を、1 モデル 1 行で残す(92 行)。
元の記録は logs/test-cc-tools/・logs/test-agents/ の *-results.jsonl(git 管理外)。
秒数は、その問のエージェントが終わるまでの時間。「有効性」が無効・途中で停止の行は、比べるのに使わない。
| 開始 | ツール | 条件 | モデル | 読み | 書き | 1 問の上限 | 有効性 |
|---|---|---|---|---|---|---|---|
| 09/28 21:34 | Claude Code | ルールあり(test-cc.ps1) | Qwen3-4B-Instruct-2507-Q4_K_M | 停止 | — | 15分 | 途中で停止:メモリ不足で Claude Code が止めた |
| 09/28 21:52 | Claude Code | ルールあり(test-cc.ps1) | Qwen3-4B-Instruct-2507-Q4_K_M | 不合格 168 秒 | — | 15分 | 出力が文字化け |
| 09/28 21:55 | Claude Code | ルールあり(test-cc.ps1) | Qwen3-4B-Instruct-2507-Q4_K_M | 不合格 206 秒 | — | 15分 | 質問が文字化けして届いた |
| 09/28 21:59 | Claude Code | ルールあり(test-cc.ps1) | Qwen3-4B-Instruct-2507-Q4_K_M | 不合格 171 秒 | — | 15分 | 有効:ツールを呼ばずに答えた |
| 09/28 22:02 | Claude Code | ルールあり(test-cc.ps1) | gpt-oss-20b-MXFP4 | 時間切れ | — | 25分 | 有効 |
| 09/28 22:28 | Claude Code | ルールあり | Ministral-3-3B-Instruct-2512-Q4_K_M | 不合格 177 秒 | 不合格 190 秒 | 10分 | 有効 |
| 09/28 22:28 | Claude Code | ルールあり | Qwen3-4B-Instruct-2507-Q4_K_M | 不合格 188 秒 | 時間切れ | 10分 | 有効 |
| 09/28 22:28 | Claude Code | ルールあり | Qwen3-4B-Thinking-2507-Q4_K_M | 時間切れ | 時間切れ | 10分 | 有効 |
| 09/28 22:28 | Claude Code | ルールあり | NVIDIA-Nemotron-3-Nano-4B-Q4_K_M | 時間切れ | 時間切れ | 10分 | 有効 |
| 09/28 22:28 | Claude Code | ルールあり | gemma-4-E2B-it-Q4_K_M | 時間切れ | 合格 480 秒 | 10分 | 有効 |
| 09/28 22:28 | Claude Code | ルールあり | Bonsai-27B-Q1_0 | 不合格 184 秒 | 不合格 181 秒 | 10分 | 有効 |
| 09/28 22:28 | Claude Code | ルールあり | gemma-4-E4B-it-Q4_K_M | 時間切れ | 時間切れ | 10分 | 有効 |
| 09/28 22:28 | Claude Code | ルールあり | Qwen3.5-9B-Q4_K_M | 不合格 182 秒 | 不合格 182 秒 | 10分 | 有効 |
| 09/28 22:28 | Claude Code | ルールあり | GLM-4.6V-Flash-Q4_K_M | 時間切れ | 時間切れ | 10分 | 有効 |
| 09/28 22:28 | Claude Code | ルールあり | gemma-4-12B-it-QAT-Q4_0 | 時間切れ | 時間切れ | 10分 | 有効 |
| 09/28 22:28 | Claude Code | ルールあり | gemma-4-12B-it-Q4_K_M | 時間切れ | 時間切れ | 10分 | 有効 |
| 09/28 22:28 | Claude Code | ルールあり | Ministral-3-14B-Reasoning-2512-Q4_K_M | 不合格 181 秒 | 不合格 181 秒 | 10分 | 有効 |
| 09/28 22:28 | Claude Code | ルールあり | Qwen2.5-Coder-14B-Instruct-Q4_K_M | 不合格 2 秒 | 不合格 2 秒 | 10分 | 有効 |
| 09/29 03:00 | Claude Code | ルールあり・帰属ヘッダなし | Qwen3-4B-Instruct-2507-Q4_K_M | 不合格 335 秒 | 合格 1304 秒 | 30分 | 途中で停止 |
| 09/29 03:38 | Claude Code | ルールあり・テンプレート差し替え | Ministral-3-3B-Instruct-2512-Q4_K_M | 不合格 140 秒 | 時間切れ | 15分 | 有効 |
| 09/29 03:38 | Claude Code | ルールあり・テンプレート差し替え | Bonsai-27B-Q1_0 | 時間切れ | 時間切れ | 15分 | 有効 |
| 09/29 03:38 | Claude Code | ルールあり・テンプレート差し替え | Qwen3.5-9B-Q4_K_M | 時間切れ | 時間切れ | 15分 | 有効 |
| 09/29 03:38 | Claude Code | ルールあり・テンプレート差し替え | Ministral-3-14B-Reasoning-2512-Q4_K_M | 不合格 519 秒 | 不合格 341 秒 | 15分 | 有効 |
| 09/29 05:11 | Claude Code | ルールあり | gpt-oss-20b-MXFP4 | 不合格 621 秒 | 不合格 583 秒 | 15分 | 途中で停止 |
| 09/29 05:48 | Claude Code | ルールなし | Ministral-3-3B-Instruct-2512-Q4_K_M | 合格 29 秒 | 合格 54 秒 | 10分 | 途中で停止 |
| 09/29 05:48 | Claude Code | ルールなし | Qwen3-4B-Instruct-2507-Q4_K_M | 合格 54 秒 | 合格 66 秒 | 10分 | 途中で停止 |
| 09/29 05:48 | Claude Code | ルールなし | Qwen3-4B-Thinking-2507-Q4_K_M | 合格 292 秒 | 時間切れ | 10分 | 途中で停止 |
| 09/29 06:23 | Claude Code | ルールなし・思考なし・テンプレート | NVIDIA-Nemotron-3-Nano-4B-Q4_K_M | 時間切れ | 時間切れ | 10分 | 有効 |
| 09/29 06:23 | Claude Code | ルールなし・思考なし・テンプレート | gemma-4-E2B-it-Q4_K_M | 合格 13 秒 | 合格 10 秒 | 10分 | 有効 |
| 09/29 06:23 | Claude Code | ルールなし・思考なし・テンプレート | Bonsai-27B-Q1_0 | 合格 142 秒 | 合格 121 秒 | 10分 | 有効 |
| 09/29 06:23 | Claude Code | ルールなし・思考なし・テンプレート | gemma-4-E4B-it-Q4_K_M | 合格 38 秒 | 合格 26 秒 | 10分 | 有効 |
| 09/29 06:23 | Claude Code | ルールなし・思考なし・テンプレート | gpt-oss-20b-MXFP4 | 合格 84 秒 | 合格 40 秒 | 10分 | 有効 |
| 09/29 06:23 | Claude Code | ルールなし・思考なし・テンプレート | Qwen3.5-9B-Q4_K_M | 不合格 80 秒 | 合格 57 秒 | 10分 | 有効 |
| 09/29 06:23 | Claude Code | ルールなし・思考なし・テンプレート | GLM-4.6V-Flash-Q4_K_M | 時間切れ | 時間切れ | 10分 | 有効 |
| 09/29 06:23 | Claude Code | ルールなし・思考なし・テンプレート | gemma-4-12B-it-QAT-Q4_0 | 合格 105 秒 | 合格 84 秒 | 10分 | 有効 |
| 09/29 06:23 | Claude Code | ルールなし・思考なし・テンプレート | gemma-4-12B-it-Q4_K_M | 合格 114 秒 | 合格 86 秒 | 10分 | 有効 |
| 09/29 06:23 | Claude Code | ルールなし・思考なし・テンプレート | Ministral-3-14B-Reasoning-2512-Q4_K_M | 合格 227 秒 | 合格 331 秒 | 10分 | 有効 |
| 09/29 06:23 | Claude Code | ルールなし・思考なし・テンプレート | Qwen2.5-Coder-14B-Instruct-Q4_K_M | 不合格 257 秒 | 不合格 241 秒 | 10分 | 有効 |
| 09/29 06:23 | Claude Code | ルールなし・思考なし・テンプレート | Devstral-Small-2507-UD-Q4_K_XL | 合格 248 秒 | 合格 320 秒 | 10分 | 有効 |
| 09/29 07:50 | Claude Code | ルールなし・思考なし(2 回目) | NVIDIA-Nemotron-3-Nano-4B-Q4_K_M | 時間切れ | 時間切れ | 10分 | 無効:誤って二重に走った |
| 09/29 07:50 | Claude Code | ルールなし・思考なし(2 回目) | gemma-4-E2B-it-Q4_K_M | 時間切れ | 時間切れ | 10分 | 無効:誤って二重に走った |
| 09/29 07:50 | Claude Code | ルールなし・思考なし(2 回目) | Bonsai-27B-Q1_0 | 合格 235 秒 | 合格 192 秒 | 10分 | 無効:誤って二重に走った |
| 09/29 07:50 | Claude Code | ルールなし・思考なし(2 回目) | gemma-4-E4B-it-Q4_K_M | 合格 173 秒 | 合格 56 秒 | 10分 | 無効:誤って二重に走った |
| 09/29 07:50 | Claude Code | ルールなし・思考なし(2 回目) | gpt-oss-20b-MXFP4 | 合格 564 秒 | 合格 354 秒 | 10分 | 無効:誤って二重に走った |
| 09/29 07:50 | Claude Code | ルールなし・思考なし(2 回目) | Qwen3.5-9B-Q4_K_M | 時間切れ | 時間切れ | 10分 | 無効:誤って二重に走った |
| 09/29 07:50 | Claude Code | ルールなし・思考なし(2 回目) | GLM-4.6V-Flash-Q4_K_M | 時間切れ | 時間切れ | 10分 | 無効:誤って二重に走った |
| 09/29 07:50 | Claude Code | ルールなし・思考なし(2 回目) | gemma-4-12B-it-QAT-Q4_0 | 時間切れ | 合格 153 秒 | 10分 | 無効:誤って二重に走った |
| 09/29 07:50 | Claude Code | ルールなし・思考なし(2 回目) | gemma-4-12B-it-Q4_K_M | 時間切れ | 合格 110 秒 | 10分 | 無効:誤って二重に走った |
| 09/29 07:50 | Claude Code | ルールなし・思考なし(2 回目) | Ministral-3-14B-Reasoning-2512-Q4_K_M | 合格 187 秒 | 合格 195 秒 | 10分 | 無効:誤って二重に走った |
| 09/29 07:50 | Claude Code | ルールなし・思考なし(2 回目) | Qwen2.5-Coder-14B-Instruct-Q4_K_M | 不合格 197 秒 | 不合格 226 秒 | 10分 | 無効:誤って二重に走った |
| 09/29 07:50 | Claude Code | ルールなし・思考なし(2 回目) | Devstral-Small-2507-UD-Q4_K_XL | 合格 247 秒 | 合格 244 秒 | 10分 | 無効:誤って二重に走った |
| 09/29 07:53 | Pi | 思考なし | NVIDIA-Nemotron-3-Nano-4B-Q4_K_M | 合格 493 秒 | 時間切れ | 10分 | 無効:別の試験と重なった |
| 09/29 07:53 | Pi | 思考なし | GLM-4.6V-Flash-Q4_K_M | 時間切れ | 時間切れ | 10分 | 無効:別の試験と重なった |
| 09/29 07:53 | Pi | 思考なし | Qwen3-4B-Thinking-2507-Q4_K_M | 合格 192 秒 | 合格 276 秒 | 10分 | 無効:別の試験と重なった |
| 09/29 08:39 | OpenCode | 思考なし | NVIDIA-Nemotron-3-Nano-4B-Q4_K_M | 合格 78 秒 | 合格 426 秒 | 10分 | 無効:別の試験と重なった |
| 09/29 08:39 | OpenCode | 思考なし | GLM-4.6V-Flash-Q4_K_M | 合格 207 秒 | 合格 235 秒 | 10分 | 無効:別の試験と重なった |
| 09/29 08:39 | OpenCode | 思考なし | Qwen3-4B-Thinking-2507-Q4_K_M | 時間切れ | 時間切れ | 10分 | 無効:別の試験と重なった |
| 09/29 09:15 | Aider | 思考なし | NVIDIA-Nemotron-3-Nano-4B-Q4_K_M | 不合格 98 秒 | 時間切れ | 10分 | 無効:別の試験と重なった |
| 09/29 09:15 | Aider | 思考なし | GLM-4.6V-Flash-Q4_K_M | 時間切れ | 時間切れ | 10分 | 無効:別の試験と重なった |
| 09/29 09:15 | Aider | 思考なし | Qwen3-4B-Thinking-2507-Q4_K_M | 不合格 128 秒 | 時間切れ | 10分 | 無効:別の試験と重なった |
| 09/29 15:15 | Pi | 思考なし | NVIDIA-Nemotron-3-Nano-4B-Q4_K_M | 合格 18 秒 | 合格 18 秒 | 10分 | 有効 |
| 09/29 15:15 | Pi | 思考なし | GLM-4.6V-Flash-Q4_K_M | 時間切れ | 不合格 55 秒 | 10分 | 有効 |
| 09/29 15:15 | Pi | 思考なし | Qwen3-4B-Thinking-2507-Q4_K_M | 合格 145 秒 | 合格 88 秒 | 10分 | 有効 |
| 09/29 15:31 | OpenCode | 思考なし | NVIDIA-Nemotron-3-Nano-4B-Q4_K_M | 合格 431 秒 | 合格 58 秒 | 10分 | 有効 |
| 09/29 15:31 | OpenCode | 思考なし | GLM-4.6V-Flash-Q4_K_M | 時間切れ | 合格 152 秒 | 10分 | 有効 |
| 09/29 15:31 | OpenCode | 思考なし | Qwen3-4B-Thinking-2507-Q4_K_M | 時間切れ | 時間切れ | 10分 | 有効 |
| 09/29 16:12 | Aider | 思考なし | NVIDIA-Nemotron-3-Nano-4B-Q4_K_M | 不合格 13 秒 | 合格 11 秒 | 10分 | 有効 |
| 09/29 16:12 | Aider | 思考なし | GLM-4.6V-Flash-Q4_K_M | 不合格 26 秒 | 合格 16 秒 | 10分 | 有効 |
| 09/29 16:12 | Aider | 思考なし | Qwen3-4B-Thinking-2507-Q4_K_M | 不合格 37 秒 | 合格 311 秒 | 10分 | 有効 |
| 09/29 16:19 | Claude Code | ルールなし・思考なし | Qwen3.6-35B-A3B-UD-Q3_K_XL | 不合格 126 秒 | 不合格 40 秒 | 15分 | 無効:README が上書きされていた |
| 09/29 18:11 | Claude Code | ルールなし・思考なし(作業用コピーはリポジトリ内) | Qwen3.6-35B-A3B-UD-Q3_K_XL | 不合格 132 秒 | 不合格 39 秒 | 15分 | 有効(Qwen 系はプロジェクトのパスを推測) |
| 09/29 18:11 | Claude Code | ルールなし・思考なし(作業用コピーはリポジトリ内) | gemma-4-26B-A4B-it-UD-Q4_K_XL | 合格 128 秒 | 合格 59 秒 | 15分 | 有効(Qwen 系はプロジェクトのパスを推測) |
| 09/29 18:11 | Claude Code | ルールなし・思考なし(作業用コピーはリポジトリ内) | GLM-4.7-Flash-UD-Q4_K_XL | 合格 204 秒 | 合格 60 秒 | 15分 | 有効(Qwen 系はプロジェクトのパスを推測) |
| 09/29 18:11 | Claude Code | ルールなし・思考なし(作業用コピーはリポジトリ内) | Qwen3-Coder-30B-A3B-Instruct-UD-Q4_K_XL | 合格 291 秒 | 不合格 222 秒 | 15分 | 有効(Qwen 系はプロジェクトのパスを推測) |
| 09/29 18:11 | Claude Code | ルールなし・思考なし(作業用コピーはリポジトリ内) | Qwen3-30B-A3B-Instruct-2507-UD-Q4_K_XL | 合格 146 秒 | 不合格 85 秒 | 15分 | 有効(Qwen 系はプロジェクトのパスを推測) |
| 09/29 18:35 | Claude Code | ルールなし・思考なし(作業用コピーは W:/temp、ホームはリポジトリ内) | Qwen3.6-35B-A3B-UD-Q3_K_XL | 合格 175 秒 | 不合格 40 秒 | 15分 | 途中で停止 |
| 09/29 18:41 | Claude Code | ルールなし・思考なし(ホームも W:/temp) | Qwen3.6-35B-A3B-UD-Q3_K_XL | 合格 165 秒 | 合格 123 秒 | 15分 | 有効 |
| 09/29 18:41 | Claude Code | ルールなし・思考なし(ホームも W:/temp) | Qwen3-Coder-30B-A3B-Instruct-UD-Q4_K_XL | 合格 166 秒 | 合格 64 秒 | 15分 | 有効 |
| 09/29 18:41 | Claude Code | ルールなし・思考なし(ホームも W:/temp) | Qwen3-30B-A3B-Instruct-2507-UD-Q4_K_XL | 合格 140 秒 | 合格 73 秒 | 15分 | 有効 |
| 09/29 18:54 | Claude Code | ルールなし・思考なし・テンプレート | Qwen2.5-Coder-14B-Instruct-Q4_K_M | 不合格 146 秒 | 不合格 200 秒 | 15分 | 有効 |
| 09/29 18:54 | Claude Code | ルールなし・思考なし・テンプレート | Qwen3.5-9B-Q4_K_M | 不合格 78 秒 | 合格 49 秒 | 15分 | 有効 |
| 09/29 19:05 | Claude Code | ルールなし・思考なし | NVIDIA-Nemotron-3-Nano-4B-Q4_K_M | 不合格 1190 秒 | 不合格 256 秒 | 60分 | 有効 |
| 09/29 19:05 | Claude Code | ルールなし・思考なし | GLM-4.6V-Flash-Q4_K_M | 時間切れ | 時間切れ | 60分 | 有効 |
| 09/29 21:30 | Claude Code | ルールなし・思考なし | Qwen3-4B-Thinking-2507-Q4_K_M | — | 合格 1199 秒 | 60分 | 有効 |
| 09/30 03:30 | Codex CLI | 安全装置あり | gemma-4-E2B-it-Q4_K_M | 不合格 17 秒 | 不合格 9 秒 | 15分 | 無効:Windows の policy でコマンドが止められた |
| 09/30 03:41 | Codex CLI | 安全装置なし(利用者が実行) | gemma-4-E2B-it-Q4_K_M | 不合格 15 秒 | 合格 6 秒 | 10分 | 有効 |
| 09/30 03:41 | Codex CLI | 安全装置なし(利用者が実行) | gpt-oss-20b-MXFP4 | 合格 53 秒 | 合格 128 秒 | 10分 | 有効 |
| 09/30 06:59 | Pi | 思考なし・テンプレート | gemma-4-E2B-it-Q4_K_M | 不合格 4 秒 | 合格 3 秒 | 10分 | 有効(読みは答えが空) |
| 09/30 06:59 | Pi | 思考なし・テンプレート | gemma-4-E4B-it-Q4_K_M | 合格 13 秒 | 合格 13 秒 | 10分 | 有効 |
| 09/30 06:59 | Pi | 思考なし・テンプレート | gpt-oss-20b-MXFP4 | 合格 30 秒 | 合格 21 秒 | 10分 | 有効 |
| 09/30 07:01 | Pi | 思考なし・テンプレート | gemma-4-E2B-it-Q4_K_M | 合格 4 秒 | 合格 3 秒 | 10分 | 有効 |
| 09/30 07:02 | Pi | 思考なし・テンプレート | gemma-4-E2B-it-Q4_K_M | 不合格 3 秒 | 合格 3 秒 | 10分 | 有効(読みは答えが空) |
2026-09-30 22:54 から 10-01 01:42 までに、日本語で「プログラムを書いて実行する」問を流した回を、1 組 1 行で残す(77 行)。 問と判定は初期プログラミングの検証計画、まとめは試験結果の第 4 章にある。 「開始」はその回の試験スクリプトを流し始めた時刻で、モデルごとの時刻ではない。1 問の上限はどれも 10 分。
無効の 1 行は、試験の中の Claude Code に PowerShell の道具が加わっていた回(許していない道具で node を呼び、止められ続けた)。直して流し直した。
| 開始 | ツール | モデル | 結果 | 所要 | 有効性 |
|---|---|---|---|---|---|
| 09/30 22:54 | Claude Code | gemma-4-E4B-it-Q4_K_M | 合格63 秒 | 63 秒 | 有効 |
| 09/30 22:56 | Pi | gemma-4-E4B-it-Q4_K_M | 合格21 秒 | 21 秒 | 有効 |
| 09/30 22:57 | OpenCode | gemma-4-E4B-it-Q4_K_M | 合格26 秒 | 26 秒 | 有効 |
| 09/30 22:58 | Aider | gemma-4-E4B-it-Q4_K_M | 不合格書いたが実行・報告なし | 19 秒 | 有効 |
| 09/30 23:00 | Pi | gemma-4-E2B-it-Q4_K_M | 合格7 秒 | 7 秒 | 有効 |
| 09/30 23:00 | Pi | Ministral-3-3B-Instruct-2512-Q4_K_M | 不合格書いたが実行・報告なし | 11 秒 | 有効 |
| 09/30 23:00 | Pi | Qwen3-4B-Instruct-2507-Q4_K_M | 不合格書いたが実行・報告なし | 6 秒 | 有効 |
| 09/30 23:00 | Pi | Qwen3.5-9B-Q4_K_M | 合格54 秒 | 54 秒 | 有効 |
| 09/30 23:00 | Pi | gpt-oss-20b-MXFP4 | 合格32 秒(跡なし) | 32 秒 | 有効 |
| 09/30 23:00 | Pi | gemma-4-12B-it-QAT-Q4_0 | 合格46 秒 | 46 秒 | 有効 |
| 09/30 23:00 | Pi | gemma-4-12B-it-Q4_K_M | 合格49 秒 | 49 秒 | 有効 |
| 09/30 23:00 | Pi | gemma-4-26B-A4B-it-UD-Q4_K_XL | 合格39 秒 | 39 秒 | 有効 |
| 09/30 23:00 | Pi | Qwen3-30B-A3B-Instruct-2507-UD-Q4_K_XL | 合格44 秒(跡なし) | 44 秒 | 有効 |
| 09/30 23:00 | Pi | Qwen3-Coder-30B-A3B-Instruct-UD-Q4_K_XL | 不合格sum.js を作らない | 40 秒 | 有効 |
| 09/30 23:00 | Pi | GLM-4.7-Flash-UD-Q4_K_XL | 合格24 秒 | 24 秒 | 有効 |
| 09/30 23:00 | Pi | Bonsai-27B-Q1_0 | 合格57 秒 | 57 秒 | 有効 |
| 09/30 23:00 | Pi | Qwen3.6-35B-A3B-UD-Q3_K_XL | 合格35 秒 | 35 秒 | 有効 |
| 09/30 23:00 | Pi | Ministral-3-14B-Reasoning-2512-Q4_K_M | 合格111 秒(跡なし) | 111 秒 | 有効 |
| 09/30 23:00 | Pi | Devstral-Small-2507-UD-Q4_K_XL | 不合格sum.js を作らない | 94 秒 | 有効 |
| 09/30 23:00 | Pi | NVIDIA-Nemotron-3-Nano-4B-Q4_K_M | 合格18 秒 | 18 秒 | 有効 |
| 09/30 23:00 | Pi | Qwen3-4B-Thinking-2507-Q4_K_M | 不合格書いたが実行・報告なし | 110 秒 | 有効 |
| 09/30 23:00 | Pi | GLM-4.6V-Flash-Q4_K_M | 不合格sum.js を作らない | 19 秒 | 有効 |
| 09/30 23:18 | OpenCode | gemma-4-E2B-it-Q4_K_M | 合格11 秒 | 11 秒 | 有効 |
| 09/30 23:18 | OpenCode | Ministral-3-3B-Instruct-2512-Q4_K_M | 不合格書いたが実行・報告なし | 28 秒 | 有効 |
| 09/30 23:18 | OpenCode | Qwen3-4B-Instruct-2507-Q4_K_M | 合格33 秒 | 33 秒 | 有効 |
| 09/30 23:18 | OpenCode | Qwen3.5-9B-Q4_K_M | 合格97 秒 | 97 秒 | 有効 |
| 09/30 23:18 | OpenCode | gpt-oss-20b-MXFP4 | 合格84 秒(跡なし) | 84 秒 | 有効 |
| 09/30 23:18 | OpenCode | gemma-4-12B-it-QAT-Q4_0 | 不合格sum.js を作らない | 117 秒 | 有効 |
| 09/30 23:18 | OpenCode | gemma-4-12B-it-Q4_K_M | 合格97 秒 | 97 秒 | 有効 |
| 09/30 23:18 | OpenCode | gemma-4-26B-A4B-it-UD-Q4_K_XL | 合格91 秒 | 91 秒 | 有効 |
| 09/30 23:18 | OpenCode | Qwen3-30B-A3B-Instruct-2507-UD-Q4_K_XL | 不合格書いたが実行・報告なし | 84 秒 | 有効 |
| 09/30 23:18 | OpenCode | Qwen3-Coder-30B-A3B-Instruct-UD-Q4_K_XL | 不合格sum.js を作らない | 81 秒 | 有効 |
| 09/30 23:18 | OpenCode | GLM-4.7-Flash-UD-Q4_K_XL | 不合格実行したが結果を答えない | 97 秒 | 有効 |
| 09/30 23:18 | OpenCode | Bonsai-27B-Q1_0 | 不合格sum.js を作らない | 101 秒 | 有効 |
| 09/30 23:18 | OpenCode | Qwen3.6-35B-A3B-UD-Q3_K_XL | 合格102 秒 | 102 秒 | 有効 |
| 09/30 23:18 | OpenCode | Ministral-3-14B-Reasoning-2512-Q4_K_M | 不合格sum.js を作らない | 112 秒 | 有効 |
| 09/30 23:18 | OpenCode | Devstral-Small-2507-UD-Q4_K_XL | 合格175 秒 | 175 秒 | 有効 |
| 09/30 23:18 | OpenCode | NVIDIA-Nemotron-3-Nano-4B-Q4_K_M | 不合格sum.js を作らない | 307 秒 | 有効 |
| 09/30 23:18 | OpenCode | Qwen3-4B-Thinking-2507-Q4_K_M | 不合格書いたが 55 が出ない | 529 秒 | 有効 |
| 09/30 23:18 | OpenCode | GLM-4.6V-Flash-Q4_K_M | 不合格sum.js を作らない | 51 秒 | 有効 |
| 09/30 23:59 | Aider | gemma-4-E2B-it-Q4_K_M | 不合格書いたが実行・報告なし | 19 秒 | 有効 |
| 09/30 23:59 | Aider | Ministral-3-3B-Instruct-2512-Q4_K_M | 不合格書いたが実行・報告なし | 7 秒 | 有効 |
| 09/30 23:59 | Aider | Qwen3-4B-Instruct-2507-Q4_K_M | 不合格書いたが実行・報告なし | 9 秒 | 有効 |
| 09/30 23:59 | Aider | Qwen3.5-9B-Q4_K_M | 不合格書いたが実行・報告なし | 21 秒 | 有効 |
| 09/30 23:59 | Aider | gpt-oss-20b-MXFP4 | 不合格書いたが実行・報告なし | 21 秒 | 有効 |
| 09/30 23:59 | Aider | gemma-4-12B-it-QAT-Q4_0 | 不合格書いたが実行・報告なし | 69 秒 | 有効 |
| 09/30 23:59 | Aider | gemma-4-12B-it-Q4_K_M | 不合格書いたが実行・報告なし | 36 秒 | 有効 |
| 09/30 23:59 | Aider | gemma-4-26B-A4B-it-UD-Q4_K_XL | 不合格書いたが実行・報告なし | 30 秒 | 有効 |
| 09/30 23:59 | Aider | Qwen3-30B-A3B-Instruct-2507-UD-Q4_K_XL | 合格22 秒(跡なし) | 22 秒 | 有効 |
| 09/30 23:59 | Aider | Qwen3-Coder-30B-A3B-Instruct-UD-Q4_K_XL | 不合格書いたが実行・報告なし | 20 秒 | 有効 |
| 09/30 23:59 | Aider | GLM-4.7-Flash-UD-Q4_K_XL | 不合格書いたが実行・報告なし | 16 秒 | 有効 |
| 09/30 23:59 | Aider | Bonsai-27B-Q1_0 | 不合格書いたが実行・報告なし | 21 秒 | 有効 |
| 09/30 23:59 | Aider | Qwen3.6-35B-A3B-UD-Q3_K_XL | 不合格書いたが実行・報告なし | 24 秒 | 有効 |
| 09/30 23:59 | Aider | Ministral-3-14B-Reasoning-2512-Q4_K_M | 不合格書いたが実行・報告なし | 24 秒 | 有効 |
| 09/30 23:59 | Aider | Devstral-Small-2507-UD-Q4_K_XL | 不合格書いたが実行・報告なし | 29 秒 | 有効 |
| 09/30 23:59 | Aider | NVIDIA-Nemotron-3-Nano-4B-Q4_K_M | 不合格書いたが実行・報告なし | 11 秒 | 有効 |
| 09/30 23:59 | Aider | Qwen3-4B-Thinking-2507-Q4_K_M | 合格40 秒(跡なし) | 40 秒 | 有効 |
| 09/30 23:59 | Aider | GLM-4.6V-Flash-Q4_K_M | 不合格書いたが実行・報告なし | 31 秒 | 有効 |
| 10/01 00:11 | Claude Code | gemma-4-E2B-it-Q4_K_M | 合格32 秒 | 32 秒 | 有効 |
| 10/01 00:11 | Claude Code | Ministral-3-3B-Instruct-2512-Q4_K_M | 合格77 秒 | 77 秒 | 有効 |
| 10/01 00:11 | Claude Code | Qwen3-4B-Instruct-2507-Q4_K_M | 不合格実行を止められ続けて 10 ターンで打ち切り | 357 秒 | 無効:PowerShell の道具が加わっていた。流し直した |
| 10/01 00:20 | Claude Code | Qwen3-4B-Instruct-2507-Q4_K_M | 合格119 秒 | 119 秒 | 有効 |
| 10/01 00:20 | Claude Code | Qwen3.5-9B-Q4_K_M | 合格102 秒 | 102 秒 | 有効 |
| 10/01 00:20 | Claude Code | gpt-oss-20b-MXFP4 | 合格80 秒(跡なし) | 80 秒 | 有効 |
| 10/01 00:20 | Claude Code | gemma-4-12B-it-QAT-Q4_0 | 合格118 秒 | 118 秒 | 有効 |
| 10/01 00:20 | Claude Code | gemma-4-12B-it-Q4_K_M | 合格113 秒 | 113 秒 | 有効 |
| 10/01 00:20 | Claude Code | gemma-4-26B-A4B-it-UD-Q4_K_XL | 合格143 秒 | 143 秒 | 有効 |
| 10/01 00:20 | Claude Code | Qwen3-30B-A3B-Instruct-2507-UD-Q4_K_XL | 合格158 秒(跡なし) | 158 秒 | 有効 |
| 10/01 00:20 | Claude Code | Qwen3-Coder-30B-A3B-Instruct-UD-Q4_K_XL | 合格170 秒 | 170 秒 | 有効 |
| 10/01 00:20 | Claude Code | GLM-4.7-Flash-UD-Q4_K_XL | 合格173 秒 | 173 秒 | 有効 |
| 10/01 00:20 | Claude Code | Bonsai-27B-Q1_0 | 合格445 秒 | 445 秒 | 有効 |
| 10/01 00:20 | Claude Code | Qwen3.6-35B-A3B-UD-Q3_K_XL | 合格227 秒 | 227 秒 | 有効 |
| 10/01 00:20 | Claude Code | Ministral-3-14B-Reasoning-2512-Q4_K_M | 合格504 秒(跡なし) | 504 秒 | 有効 |
| 10/01 00:20 | Claude Code | Devstral-Small-2507-UD-Q4_K_XL | 合格577 秒 | 577 秒 | 有効 |
| 10/01 00:20 | Claude Code | NVIDIA-Nemotron-3-Nano-4B-Q4_K_M | 時間切れ | 600 秒 | 有効 |
| 10/01 00:20 | Claude Code | Qwen3-4B-Thinking-2507-Q4_K_M | 時間切れ | 600 秒 | 有効 |
| 10/01 00:20 | Claude Code | GLM-4.6V-Flash-Q4_K_M | 時間切れ | 600 秒 | 有効 |