docs(adr): WP-01 ローカル LLM レビュアー選定スパイクを ADR-046 で却下・退役

[aloekun]

概要

WP-01「ローカル LLM レビュアー選定スパイク」の退役。スパイクを実測で完遂し、再現率が受け入れ基準 50% に遠く及ばない（意味的再現率 最良 ~13%）ため local_review 案 (WP-02) を却下。結論と較正知見を ADR-046 に永続化する。

docs/harness-improvement-plan.md の 3 ステップ知識移管（permanent 先行作成 → 参照付替 → ephemeral 更新）に従う。

背景（スパイク結果）

CodeRabbit 往復削減のため push 前にローカル LLM レビューを挟む仮説を、過去 PR の CodeRabbit findings を ground truth に実測検証した。

• 環境: GPU が RTX 3070 8GB → RTX PRO 5000 Blackwell 48GB に更新済み（ADR-040 の実測値が陳腐化）
• Ground truth: PR docs(todo): PR #89 post-merge-feedback の Tier 1/2 finding を採用 #90〜242 から CodeRabbit findings 67 件/33 PR を harvest。パイロット 5 PR/23 findings
• 結果: 4 モデル (qwen3-coder:30b / gemma4:31b / gemma4:26b / mistral:7b) いずれも意味的再現率 50% 未満。自動 recall 最良の qwen3-coder(0.35) も過剰検出率 0.87 の spray 水増しで実力 ~13%
• 判定: 受け入れ基準「再現率 50% 未満なら WP-02 中止」に該当 → local_review 案を却下

変更内容

• docs/adr/adr-046-local-llm-review-spike.md (新設): 却下判断・比較表・較正知見（プロンプト感度・モデル別失敗モード）・妥当性の脅威・GPU 更新の事実を永続記録
• CLAUDE.md: ADR-046 を ADR 一覧に登録（(却下)）
• docs/harness-improvement-plan.md: WP-01/WP-02 を「見送り」に更新（表 + セクション見送りノート）。※ WP-03 行（実装済、feat(coderabbit): WP-03 CodeRabbit クォータ設計 — .coderabbit.yaml + 明示再レビュートリガー #243）とは別行で統合済み
• docs/todo-summary.md / docs/todo13.md: 順位 255 追加 — ADR-040 の新 GPU 再 calibration follow-up

分類層 (ADR-038) への影響

本 PR が却下したのは review (open-ended な問題発見) タスク。ADR-038 が採用している classification (既知 findings の triage) は別タスク（入力構造化・判定空間が閉じている）であり、本結論の影響を受けない。

参照

• ADR-046: スパイクの結論と較正知見の永続保管先
• docs/harness-improvement-plan.md: WP-01/02 を「見送り」に更新（詳細知見は ADR-046 に移管）

🤖 Generated with Claude Code

Summary by CodeRabbit

• 新機能
  • ローカル LLM を使った push 前レビューの検討結果を ADR として追加し、採用見送りの判断を記録しました。
• ドキュメント
  • 実測に基づく評価結果、判断基準、学び、今後の対応方針を整理しました。
  • 関連タスクの進捗を更新し、再評価や再調整が必要な項目を明確化しました。

[coderabbitai]

No actionable comments were generated in the recent review. 🎉

ℹ️ Recent review info

⚙️ Run configuration

Configuration used: Path: .coderabbit.yaml

Review profile: CHILL

Plan: Pro

Run ID: 7785a870-e60a-4bf2-bde0-03b9918b2d11

📥 Commits

Reviewing files that changed from the base of the PR and between 36e196d and fdda3bd.

📒 Files selected for processing (5)

• CLAUDE.md
• docs/adr/adr-046-local-llm-review-spike.md
• docs/harness-improvement-plan.md
• docs/todo-summary.md
• docs/todo13.md

---

📝 Walkthrough

Walkthrough

ローカル LLM を pre-push レビュアーとして導入する案について選定スパイクの実測結果に基づき却下する ADR-046 を新規追加し、CLAUDE.md の ADR 一覧、harness-improvement-plan.md の WP-01/WP-02 状態、todo-summary.md・todo13.md に follow-up タスクを反映したドキュメント更新。

Changes

ADR-046 却下記録と関連ドキュメント更新

Layer / File(s)	Summary
ADR-046 本文とADR一覧への追記 docs/adr/adr-046-local-llm-review-spike.md, CLAUDE.md	ローカル LLM pre-push レビュアー案の選定スパイクの実測環境・評価結果・却下理由を記録するADR-046を新規作成し、CLAUDE.md の Architecture Decisions 一覧にエントリを追加。
harness-improvement-plan の WP-01/WP-02 見送り反映 docs/harness-improvement-plan.md	WP表とWP-01/WP-02セクションの状態を「未着手」から「見送り (ADR-046)」に更新し、再現率未達・過剰検出の結果とGPU更新follow-upを追記。
ADR-040再calibration follow-upタスクの追加 docs/todo-summary.md, docs/todo13.md	推奨実行順序サマリーに新規タスク255を追加し、ADR-040/ADR-038をRTX PRO 5000向けに再calibrationする作業計画・完了基準を記載。

Estimated code review effort: 2 (Simple) | ~10 minutes

Possibly related PRs

• aloekun/claude-code-hook-test#43: pre-push-review機能の検討・実装計画に関するドキュメント追加が本PRのADR-046却下判断と直接関連。
• aloekun/claude-code-hook-test#158: docs/todo-summary.md におけるADR番号付与・タスク管理の同一領域を更新。
• aloekun/claude-code-hook-test#242: docs/harness-improvement-plan.md のWP計画に対する変更で同一ファイル領域を扱う。

🚥 Pre-merge checks | ✅ 5

✅ Passed checks (5 passed)

Check name	Status	Explanation
Description Check	✅ Passed	Check skipped - CodeRabbit’s high-level summary is enabled.
Title check	✅ Passed	ADR-046でWP-01のローカルLLMレビュアー選定スパイクを却下・退役する内容と一致しています。
Docstring Coverage	✅ Passed	No functions found in the changed files to evaluate docstring coverage. Skipping docstring coverage check.
Linked Issues check	✅ Passed	Check skipped because no linked issues were found for this pull request.
Out of Scope Changes check	✅ Passed	Check skipped because no linked issues were found for this pull request.

✨ Finishing Touches

🧪 Generate unit tests (beta)

• Create PR with unit tests
• Commit unit tests in branch wp01-local-llm-review-adr

---

Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out.

❤️ Share

• X
• Mastodon
• Reddit
• LinkedIn

_{Comment @coderabbitai help to get the list of available commands.}