手元のノートPCでローカルLLMを動かすための検討と実測をまとめている。実行基盤は llama.cpp、モデルは C:\AI-models にある手持ちの GGUF を使う。公開ページは https://lightspeedc.com/20260824-local-llm-llama-cp/ にある。

計画

ローカルLLM 実行計画 — ソフトウェアの選定、配布バイナリと自前コンパイルの比較、手持ちモデルの棚卸し、量子化と VRAM 配分、最新量子化と MoE の検討、導入手順、検証計画、実測結果
ローカルLLM で Claude Code を使う・試す手順 — llama-server の引数と Claude Code の環境変数、cc1.cmd で対話に使う手順、試験スクリプトでモデルやエージェントを試す手順
AI エージェント比較の検証計画 — Claude Code（ルールなし）・Pi・OpenCode・Codex CLI・Aider を同じ試験で比べる
初期プログラミングの検証計画 — 日本語で「プログラムを書いて実行する」を頼み、書きの試験に合格した 19 本を 4 つのエージェントで総当たりに試す
閉域網へ持っていく配布物 — ネットに出られない別の PC（Intel の内蔵 GPU）へ、llama.cpp・Node.js・エージェント・モデル・試験スクリプトをまとめて運ぶ
GPU 併用の検証計画 — NVIDIA GPU・Intel GPU・CPU を組み合わせて載せたときに速くなるかを測る
画像解析の検証計画 — mmproj を持つモデルに文字・表・グラフ・画面の画像を読ませ、正しさと速さを測る
HTTP プロキシ作成の検証計画 — Node.js の HTTP プロキシサーバを書かせ、試験側で実際に通信を通して合否を決める
階層型エージェント構成案 — 大きなモデルで計画し、小さなモデルで実装する構成。VRAM 4GB では複数モデルを同時常駐できないため、並列スロットで代替する設計

調査

Speculative Decoding 調査 — 小さなドラフトモデルで先読みして生成を速める手法が、VRAM 4GB で成立するかの検討と実測
ハードウェア選定の判断材料 — VRAM 4GB の制約をどのハードウェアで解決できるか。HP ZGX・DGX Spark・Mac Studio・RTX 30 / 50 系の容量・帯域・価格の比較
ローカルLLM で AI エージェントを使う — 試験結果 — llama-server に繋いだ Claude Code・Pi・OpenCode・Aider・Codex CLI で、20GB 以下のモデルがファイルを読み書きできるかを試した結果と、どのモデル・エージェントを使うか
AI エージェント試験の経緯と全実行の記録 — 上の試験の試し方、途中で起きたことと対処、最初の試験（共通ルールあり）の結果、流したすべての試験
Claude Code 以外の AI エージェント調査 — Pi・OpenCode・Qwen Code・Codex CLI・Aider を llama-server に繋ぐ方法と、最初に送る量の比較

課題

課題一覧 — これから解決すること

ルール

ローカルルール — このプロジェクトでだけ通る決めごと

環境

項目	内容
GPU	NVIDIA GeForce RTX 3050 Ti Laptop（VRAM 4 GB）
CPU / RAM	Intel Core i7-11370H（4コア8スレッド）／31.8 GB
実行基盤	llama.cpp（CUDA 12.4 の配布バイナリ）
モデル置き場	`C:\AI-models`（LM Studio と共用）

フォルダ構成

20260824-local-llm-llama-cp/
├─ README.html              … このファイル
├─ index.html               … README.html への転送（GitHub Pages 用）
├─ AGENTS.md                … ローカルルールの読み込み（AIエージェント用）
├─ cc1.cmd                  … Claude Code を llama-server に繋いで起動する
├─ notes/
│   ├─ 01_research/         … 調査
│   ├─ 10_plan/             … 計画
│   ├─ 40_issues/           … 課題
│   └─ 90_rules/            … ローカルルール
├─ tools/
│   ├─ 10_setup/            … モデルの取得
│   ├─ 50_run/              … llama-server の起動・速度計測・Claude Code の試験
│   └─ 80_ops/              … 温度・クロックの記録
└─ bin/llama.cpp/           … 配布バイナリ（git 管理外）

C:\AI-models\                … GGUF の実体（LM Studio と共用・移動しない）

ローカルLLM 実行環境

計画

調査

課題

ルール

環境

フォルダ構成