ArXiv: 금지 규칙은 효과적이고 지시는 오히려 해롭다 — AI 코딩 에이전트 규칙에 대한 실증 연구

SWE-bench Verified 벤치마크에서 5,000회 이상의 AI 에이전트 실행을 포함한 대규모 실증 연구가 놀라운 발견을 내놓았습니다. CLAUDE.md나 .cursorrules와 같은 규칙 파일은 프로그래머들이 생각하는 것처럼 작동하지 않습니다.

연구자들이 발견한 것

연구팀은 GitHub에서 수집한 679개의 규칙 파일(총 25,532개의 개별 규칙)을 분석하고, 이 규칙들이 AI 코딩 에이전트의 성능에 어떤 영향을 미치는지 테스트했습니다.

핵심 발견 사항:

• 규칙은 전체적으로 작업 해결에 7~14 퍼센트 포인트의 개선을 가져왔습니다
• 무작위로 생성된 규칙이 전문가가 작성한 것과 동일한 효과를 보였습니다 — 이는 구체적인 지시가 아닌 컨텍스트 “프라이밍” 효과가 작용한다는 것을 시사합니다
• 금지 규칙(“절대 X를 하지 마라”와 같은 부정적 제약)은 개별 적용 시 성능을 개선합니다
• 긍정적 지시(“항상 Y 접근법을 사용하라”와 같은 규범적 지시)는 오히려 해로우며, 규칙이 전혀 없을 때보다 에이전트의 오류율이 높아집니다

왜 중요한가

현재 수백만 명의 프로그래머들이 CLAUDE.md, .cursorrules 등의 규칙 파일을 사용하여 AI 어시스턴트를 가이드하고 있습니다. 이 연구는 “에이전트에게 하지 말아야 할 것을 알려주는” 접근 방식이 “어떻게 해야 하는지 알려주는” 접근 방식보다 훨씬 효과적임을 보여줍니다.

연구자들의 권고: 에이전트가 해야 할 것을 규정하기보다 하지 말아야 할 것을 제한하십시오. 다시 말해, 짧은 금지 목록이 긴 모범 사례 가이드보다 뛰어납니다.

업계에 대한 시사점

이는 AI 에이전트를 위해 상세한 규칙을 작성하는 대중적 관행에 의문을 제기합니다. 에이전트는 상세한 지시보다 명확한 경계가 있을 때 더 잘 작동하는 것으로 보입니다 — 이는 과도한 마이크로매니지먼트식 규정보다 명확한 제약 조건이 있을 때 더 효율적으로 기능하는 인간 팀과도 유사합니다.