arXiv:2605.18414：프롬프트는 보호하지 못합니다 — ABAC를 가진 MCP 프록시로 무단 도구 호출 0% 달성

arXiv에 발표된 연구(2605.18414)는 자율 AI 에이전트를 구축하는 모든 이에게 우려스러운 발견을 가져다줍니다. 도구 접근 제어에 관한 한 프롬프트의 지시에 의한 보호는 충분하지 않습니다. 아키텍처 레이어 솔루션 — 에이전트와 도구 사이의 중개 레이어 — 만이 신뢰할 수 있는 보호를 보장할 수 있습니다.

왜 프롬프트는 LLM 에이전트를 도구 악용으로부터 보호할 수 없나요?

컨텍스트에서 도구 목록을 보는 모델은 명시적으로 금지된 경우에도 현재 사용자를 위해 의도되지 않은 도구를 선택할 수 있습니다. 저자 Rohith Uppala는 세 가지 언어 모델 — Qwen 2.5 7B, Llama 3.1 8B, Claude Haiku 3.5 — 을 사용하여 네 가지 공격 카테고리로 나뉜 150개의 적대적 작업에서 이를 테스트했습니다. 결과는 분명합니다. 프롬프트 기반 제한은 UIR(무단 호출률 — 무단 도구 호출의 비율)을 11~18 퍼센트 포인트만 줄이며, 모든 시나리오에서 상당한 잔여 위험을 남깁니다.

UIR은 에이전트가 승인되지 않은 도구를 성공적으로 호출하는 빈도를 측정합니다. 엄격하고 정밀하게 작성된 지시가 있어도 모델은 때로 제한을 “잊거나” 적대적 입력에 의해 우회하도록 유도됩니다.

ABAC를 가진 MCP 프록시는 어떻게 아키텍처 레이어에서 문제를 해결하나요?

제안된 솔루션은 MCP(Model Context Protocol) 레이어에서 작동합니다 — AI 에이전트가 외부 도구와 서비스를 발견하고 호출하는 방법을 정의하는 오픈 표준입니다. 에이전트가 도구와 직접 통신하는 대신 **ABAC(속성 기반 접근 제어 — 사용자, 도구 및 컨텍스트의 속성에 기반한 접근 제어 모델)**을 시행하는 관리 MCP 프록시가 도입됩니다.

프록시는 두 지점에서 작동합니다.

1. 도구 발견 — 무단 도구는 목록 단계에서 컨텍스트에서 제거되므로 모델은 물리적으로 볼 수 없는 것을 선택할 수 없습니다.
2. 도구 호출 — 호출이 도달한 경우에도 프록시는 실행 전에 이를 차단합니다.

결과: UIR이 0%로 감소하고 중앙값 지연은 50ms 미만 — 대부분의 프로덕션 시스템에서 무시할 수 있는 수준입니다.

이것이 실제 AI 에이전트 개발에 무엇을 의미하나요?

EMNLP 2026 Industry Track 발표를 앞둔 이 연구는 에이전트 시스템을 구축하는 엔지니어들에게 명확한 메시지를 전달합니다. 보안 로직은 프롬프트 안에만 있어서는 안 됩니다. 웹 애플리케이션이 코드 주석으로 API 엔드포인트를 보호하는 것이 아니라 미들웨어 레이어와 토큰을 사용하는 것처럼 AI 에이전트도 언어적 제약만이 아닌 아키텍처적 경계가 필요합니다.

MCP 생태계를 사용하는 프로젝트(2025/2026년에 확산되는 관행)의 경우, ABAC 정책을 가진 관리 프록시 레이어 구현이 권장되는 보안 위생 조치가 되고 있으며, 특히 다른 사용자가 도구 세트에 대해 다른 권한을 가진 멀티테넌트 및 엔터프라이즈 환경에서 중요합니다.