AI が書いた CLAUDE.md は逆効果 --- 「コンテキストファイルの自動生成は精度を下げる」という研究
AI が書いた CLAUDE.md は逆効果 — 「コンテキストファイルの自動生成は精度を下げる」という研究 @at_sushi_(門脇敦司)氏が X で投稿した、AI 生成のプロンプトファイルに関する記事が注目を集めています。 CLAUDE.md のようなプロンプトファイルを AI に生成させると「逆に精度が下がる」という研究です。AI 文書は冗長で、AI 自身を混乱させます。では、どうすればいいのか? というと、「本当に重要な情報だけを、開発者が書く」というのが現在の正解です 元記事は Zenn の解説記事で、ETH Zurich と LogicStar.ai の研究チーム(Gloaguen et al.)による論文「Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?」を日本語で紹介しています。本記事では、この研究の実験データを詳しく読み解き、CLAUDE.md / AGENTS.md の書き方への実践的な示唆を整理します。 研究の概要 — 何を検証したのか 背景 CLAUDE.md、AGENTS.md、CURSORRULES — これらの「コンテキストファイル」は、AI コーディングエージェントにリポジトリの慣習や制約を伝えるための指示書です。Anthropic、OpenAI、Cursor はいずれもこれらのファイルの作成を強く推奨しています。 しかし、「コンテキストファイルは本当にエージェントの性能を向上させるのか?」 という基本的な問いに対して、厳密な検証はこれまで行われていませんでした。 実験設計 ETH Zurich の研究チームは、3 つの条件で比較実験を実施しました。 条件 内容 なし(None) コンテキストファイルなし(ベースライン) LLM 生成 エージェント開発者の推奨に従い LLM に自動生成させたファイル 人間作成 開発者がリポジトリにコミットしたファイル 評価対象モデル: Claude Code(Sonnet 4.5)、Codex(GPT-5.2 / GPT-5.1 mini)、Qwen Code(Qwen3-30b-coder) ...