目的

sum の問（10 行ほどのプログラム）では、モデルとエージェントの組の向き不向きが分かった。 実際の作業に近い、数十行で、待ち受けと通信を含み、仕様を満たすかを外から確かめられるプログラムを書かせ、どの組が「使える」かを確かめる。 題材は HTTP のプロキシサーバ。標準の http・net モジュールだけで書け、正しく動くかを試験側で機械的に確かめられる。あわせて、作ったものの仕様書を書かせる。

問

2 つの試験に分ける。HTTPS を通すには CONNECT の扱いを指示する必要があり、1 つ目の指示文では仕様が足りないため。どちらも、エージェントには次の指示文だけを渡す（sum と同じく補足の文や例は付けない）。

試験 1: HTTP のプロキシ（proxy）

Node.js の標準モジュールだけで HTTP のプロキシサーバを proxy.js に書く。127.0.0.1 の 18080 番で待ち受け、受けたリクエストを URL の宛先へ転送し、応答をそのまま返す。node proxy で起動する。仕様書を proxy.md と proxy.html に書く。書いたら起動はしたままにせず終える

試験 2: HTTPS も通すプロキシ（proxy-https）

Node.js の標準モジュールだけで HTTP と HTTPS のプロキシサーバを proxy.js に書く。127.0.0.1 の 18080 番で待ち受ける。HTTP は受けたリクエストを URL の宛先へ転送し、応答をそのまま返す。HTTPS は CONNECT を受けて宛先との TCP の接続をつなぎ、双方向にそのまま中継する（中身は復号しない）。node proxy で起動する。仕様書を proxy.md と proxy.html に書く。書いたら起動はしたままにせず終える

• 「起動はしたままにせず終える」は、エージェントがサーバを起動したまま待ち続け、時間切れになるのを避けるため
• 仕様書は、何を作ったかをエージェント自身がまとめられるかを見るため。Markdown と HTML の両方を求める
• 試験 2 は、試験 1 で ✅ か ☑️ だった組だけで流す

判定

エージェントが終わったあと、試験側で次を順に行う。

1. proxy.js・proxy.md・proxy.html があるか
2. 試験側が宛先のサーバ（127.0.0.1 の空いた番号）を立てる。GET /hello に決めた文字列、POST /echo に受けた本文をそのまま返す
3. node proxy を起動し、18080 番が開くまで最大 10 秒待つ
4. プロキシ経由で送る（下の表）
5. プロキシと宛先を止める（ジョブオブジェクトに入れ、試験側が終われば必ず止まるようにする）

試験 1 で ext-https も送り、通らないこと（CONNECT を扱わない）を記録する。合否には入れない。

仕様書の判定

• proxy.md と proxy.html の両方がある
• どちらにも、待ち受けのアドレスと番号（127.0.0.1・18080）と起動の方法（node proxy）が書いてある。試験 2 では、さらに CONNECT が書いてある
• proxy.html がブラウザで開ける HTML になっている（<html と </html> がある）

印

判定の関数は sum-judge.ps1 と同じく別の関数にし、テストを先に書く（正しいプロキシ・GET しか通さないプロキシ・CONNECT も通すプロキシ・起動しない proxy.js・仕様書の欠けた組を試験用に用意して、それぞれの印になることを確かめる）。

対象と進め方

• エージェント: Claude Code・Pi・OpenCode（Aider は自分で実行しないので外す）
• モデル: sum の試験で合格が多かったもの（gemma-4-E4B・gemma-4-12B-QAT・gemma-4-12B・Qwen3.5-9B・gemma-4-E2B）と、取得中の新しいモデル（gemma-4-E4B-it-qat・Ornith-1.0-9B・LFM2.5-8B-A1B・granite-4.1-8b）
• 環境と時間切れ: まず NVIDIA GPU（20 分）。上位の組だけ Intel GPU（30 分）でも流す。sum より長いプログラムなので、sum の倍を取る
• 回数: 1 組 2 回。sum で 1 回ごとに結果が揺れたため

1. 判定の関数とテストを書く
2. 試験スクリプトに -Tests proxy・-Tests proxy-https を足す（test-agents.ps1・test-cc-tools.ps1）
3. gemma-4-E4B と Pi で 1 回流し、手順が動くことを見る
4. 全体を流し、結果を試験結果に書く

気をつけること

• ポートを llama-server と分ける。llama-server は 11434、プロキシは 18080、宛先は試験側が空いた番号を取る。起動前に 18080 が空いているかを見る（Test-LlmPortFree）
• エージェントが起動したプロキシが残ることがある。1 組ごとに、18080 を使っているプロセスが無いかを見て、残っていれば止める
• 外のサイト（example.com）に届くのは、ネットにつながる PC だけ。閉域網では ext-http・ext-https を飛ばし、残りで判定する（飛ばしたことを記録に残す）
• 待ち受けるのは 127.0.0.1 だけ。0.0.0.0 で待ち受けるプログラムを書いた組は、判定は通しても、その旨を記録に残す（外から使える中継になる）
• Claude Code は --allowedTools "Bash(node:*)" で node だけを許している。プロキシを試すのに curl を使おうとした場合は止められる。止められた回数も記録する