ArXiv：禁止ルールは効果的、指示は逆効果——AIコーディングエージェントのルールに関する実証研究

SWE-bench Verifiedベンチマークで5,000回以上のAIエージェント実行を行った大規模な実証研究が、驚くべき発見をもたらしました。CLAUDE.mdや.cursorrulesのようなルールファイルは、プログラマーが考えているようには機能していないのです。

研究者たちは何を発見したのか？

研究チームはGitHubから収集した679件のルールファイル（合計25,532件の個別ルール）を分析し、これらのルールがAIコーディングエージェントの性能にどのような影響を与えるかをテストしました。

主な発見：

• ルール全体では、タスク解決率に7〜14パーセントポイントの改善をもたらしています
• ランダムに生成されたルールが専門家の作成したものと同等の効果を示しました——これは具体的な指示ではなく、コンテキストの「プライミング」効果が作用していることを示唆しています
• 禁止ルール（「Xを絶対にしない」のような否定的制約）は、個別に適用した場合に性能を改善します
• 肯定的な指示（「常にYアプローチを使う」のような規定的指示）はむしろ有害で、ルールがない場合よりもエージェントのエラー率が高くなります

なぜこれが重要なのか？

現在、何百万人ものプログラマーがCLAUDE.mdや.cursorrulesなどのルールファイルを使用してAIアシスタントを導いています。この研究は、「エージェントに何をすべきでないか伝える」アプローチが「どうすべきか伝える」アプローチよりもはるかに効果的であることを示しています。

研究者たちの推奨：エージェントがすべきことを規定するのではなく、すべきでないことを制限してください。つまり、短い禁止リストの方が、長いベストプラクティスガイドよりも優れているということです。

業界への示唆

これは、AIエージェントに詳細なルールを書くという一般的な慣行に疑問を投げかけます。エージェントは詳細な指示よりも明確な境界線がある方がうまく機能するようです。これは人間のチームにも当てはまります——過度なマイクロマネジメント的な規定よりも、明確な制約の方が効率的に機能するのです。