arXiv:2605.04019: 자동화 레드팀 에이전트가 Meta Llama Scout 대상 85% 성공률 달성, 공격 45종·변환 450종 이상 사용

arXiv의 새 논문은 AI 모델의 공격적 보안 테스트를 완전히 자동화하는 시스템을 설명합니다. 저자 Raja Sekhar Rao Dheekonda, Will Pearce, Nick Landers는 Dreadnode SDK 기반으로 구축된 에이전트형 접근 방식이 레드팀의 경제성을 어떻게 바꾸는지 보여줍니다. 지금까지 전문가의 몇 주에 걸친 작업을 요구하던 보안 테스트가 공격 코드 한 줄 없이 몇 시간으로 단축됩니다.

에이전트는 어떻게 몇 주의 수작업을 대체하나?

레드팀은 보안 맥락에서 전문가들이 모델의 약점을 체계적으로 찾는 과정입니다. 적대적 예시부터 탈옥 프롬프트와 멀티모달 공격까지, 전통적으로는 팀이 공격을 하나씩 수동으로 조합하고 실행했습니다.

제안된 시스템은 대신 45종 이상의 공격, 450종 이상의 변환, 130종 이상의 스코어러 카탈로그를 사용하고, 에이전트가 자율적으로 조합합니다. 운영자는 터미널 사용자 인터페이스를 통해 자연어로 목표를 설정하고, 에이전트가 벡터를 선택하고 변형을 적용하여 결과를 평가합니다.

Llama Scout 대상 수치는 무엇을 보여주나?

Meta의 Llama Scout 모델 평가에서 에이전트는 85% 성공률을 달성했으며 내부 스코어러는 최고 심각도를 1.0으로 평가했습니다. 설정된 목표에서 완성된 보고서까지의 전체 주기가 유사한 테스트 범위에서 이전의 관행이었던 몇 주가 아닌 시간 단위로 이루어집니다.

핵심은 에이전트가 사람이 개발한 코드 없이 작동한다는 것입니다. 전체 적대적 워크플로가 사용 가능한 컴포넌트에서 생성되어, 업계에서 만성적으로 부족한 전문 레드팀 엔지니어의 병목을 제거합니다.

보안 팀에게 무엇을 의미하나?

에이전트형 프레임워크는 이전에는 여러 다른 도구들로 분산되어 있던 전통적인 ML 적대적 예시와 생성형 AI 탈옥을 하나의 통합 시스템으로 다룹니다. 새 모델을 지속적으로 평가해야 하는 기업 보안 팀과 AI 랩에게 이는 테스트 빈도를 크게 높일 수 있음을 의미합니다.

이 연구는 SOC 분석가들이 이전에 인시던트 분류에 AI 어시스턴트를 사용하기 시작한 것처럼, 에이전트 자동화를 보안 분야에 적용하는 연구의 흐름에 속합니다. 결과가 다른 안전 필터를 가진 폐쇄형 상용 모델에 얼마나 전이될 수 있는지는 여전히 열린 문제입니다. Llama Scout는 API 전용 모델에서는 불가능한 상세한 계측을 허용하는 오픈 가중치 타겟입니다.