arXiv:2606.20408: NRT-Bench — 안전 위험 시스템에서 LLM 에이전트의 멀티턴 레드팀 벤치마크

NRT-Bench: AI 에이전트 보안 테스트의 새로운 기준

연구자들은 2026년 6월 18일 NRT-Bench(Nuclear-plant Red-Teaming Benchmark)를 발표했습니다. 이 평가 프레임워크는 대형 언어 모델(LLM) 에이전트가 오류가 치명적인 결과를 초래할 수 있는 환경에서 체계적·적응형 공격에 얼마나 강인한지를 측정합니다. 기존의 접근 방식이 LLM의 주관적인 피해 평가에 의존했던 것과 달리, NRT-Bench는 객관적인 신호를 사용합니다. 에이전트가 시뮬레이션된 원자력 발전소의 6개 핵심 안전 기능(CSF) 중 하나라도 제어권을 잃는 순간 세션이 종료됩니다.

NRT-Bench는 실제 위협을 어떻게 시뮬레이션하나요?

5명으로 구성된 가상 운영자 팀 — 각각 설정 가능한 LLM으로 구동됨 — 이 발전소를 운영하는 동안, 공격자는 각 단계별 피드백을 받아가며 멀티턴 세션의 4개 통신 채널을 통해 악의적인 메시지를 주입합니다. 『멀티턴』이란 공격자가 단일 쿼리를 전송하는 것이 아니라, 시스템 반응을 토대로 매 공격마다 전략을 조정한다는 의미입니다. 이는 일회성 피싱이 아닌 지속적인 사회공학 공격에 비유할 수 있습니다. 재현성을 보장하기 위해 4개의 최신 모델이 쌍을 이룬 반복(paired-replay) 프로토콜에 따라 테스트되었습니다.

결과: 취약점은 모델 특이적이며, 보편적이지 않습니다

적응형 멀티턴 공격은 공격 세션의 8.7~12.1%에서 안전 기능을 손상시키는 데 성공했습니다. 모델별 집계 수치는 유사해 보이지만, 우려스러운 세부 사항이 있습니다. 149개의 테스트 세션 중 4개 모델 모두를 무력화한 경우는 없었으며, 3분의 1은 최소 1개 모델을 무력화했습니다. 취약점은 거의 완전히 비중첩적입니다. 한 모델을 뚫는 공격이 다른 모델에는 통하지 않습니다. 방어 체계 구축 팀에게 더욱 중요한 점은, 동일한 보호 조치(가드레일 스택 또는 보안 어드바이저 에이전트)가 한 모델의 공격 성공률은 낮추면서 다른 모델의 성공률은 높인다는 것입니다. 기존 연구는 단방향(싱글턴) 공격이나 LLM 평가에 국한되어 실제 노출 위험을 과소평가했습니다.

더 넓은 커뮤니티를 위한 개방형 인프라

연구자들은 시뮬레이션 환경, 공격 데이터셋, 리플레이 인프라를 오픈소스 도구로 공개하여 LLM 에이전트의 재현 가능한 보안 평가를 지원합니다. 이 연구는 에너지, 의료 등 안전 위험 시스템에 AI 에이전트를 도입하는 조직이, 한 구성에서 강인한 모델이 다른 구성에서도 보호를 제공한다고 가정할 수 없음을 시사합니다. 모든 배포는 자체적인 적대적 평가를 필요로 합니다.