arXiv:2606.04460: CyberGym-E2E, 취약점 전체 수명 주기에 걸쳐 AI 에이전트를 측정하다

arXiv:2606.04460 논문은 취약점의 전체 수명 주기에서 AI 에이전트를 측정하는 확장 가능한 실세계 벤치마크 CyberGym-E2E를 제시한다. 이 논문은 2026년 6월 3일(05:06 UTC) UC Berkeley 진영의 Dawn Song을 중심으로 한 팀이 공개했다. 벤치마크의 목표는 AI 에이전트가 실제 소프트웨어의 보안 결함을 얼마나 자율적으로 발견하고, 시연하고, 수정할 수 있는지를 현실적으로 평가하는 것이다.

CyberGym-E2E란 무엇인가요?

CyberGym-E2E는 확장 가능한 실세계 벤치마크, 즉 가공된 예제가 아닌 실제 사례에 기반해 AI 에이전트의 능력을 비교하는 도구다. 139개 오픈소스 프로젝트에서 수집한 920개의 실제 취약점을 포함한다. 실제 프로젝트에 의존함으로써 벤치마크는 실무적 관련성을 갖게 되는데, 에이전트가 진짜 코드와 진짜 보안 문제를 다뤄야 하기 때문이다.

“E2E”라는 명칭은 “end-to-end”를 의미하며, 벤치마크가 단일하게 고립된 단계가 아니라 취약점 해결의 전체 경로, 즉 발견부터 수정까지를 포괄한다는 점을 강조한다.

이 벤치마크는 어떤 능력을 측정하나요?

CyberGym-E2E는 AI 에이전트의 세 가지 핵심 능력을 측정한다. 첫째는 취약점 발견, 즉 에이전트가 코드에서 보안 결함을 애초에 찾아내는 능력이다. 둘째는 proof-of-concept(PoC) 생성, 즉 발견된 취약점이 실제로 악용될 수 있음을 보이는 증거의 생성이다.

셋째 능력은 패치 개발, 즉 취약점을 제거하는 수정을 만드는 것이다. 세 단계를 모두 포괄함으로써 벤치마크는 에이전트를 취약점의 전체 수명 주기에 걸쳐, 즉 문제 식별부터 해결까지 테스트하며, 단 하나의 과제에만 초점을 맞춘 테스트보다 더 완전한 그림을 제공한다.

테스트 시나리오는 어떻게 구축되나요?

테스트 시나리오를 생성하기 위해 CyberGym-E2E는 agent-enhancement이 적용된 자동화 파이프라인을 사용한다. 이 파이프라인은 실제 취약점 데이터를 테스트에 적합한 현실적인 시나리오로 변환한다. 자동화는 확장성을 가능하게 하므로 중요하다. 새로운 시나리오를 광범위한 수작업 없이 기존 데이터로부터 생성할 수 있기 때문이다.

이로써 CyberGym-E2E는 보안 벤치마크의 주요 과제 중 하나, 즉 유지와 확장 문제를 해결한다. 취약점 데이터베이스가 보강됨에 따라 벤치마크도 함께 발전할 수 있다.

이 벤치마크가 제시하지 않는 것은 무엇인가요?

논문 초록이 이 벤치마크에서 개별 모델의 구체적인 성공률을 명시하지 않는다는 점은 중요하다. 발표는 특정 시스템의 순위가 아니라 CyberGym-E2E의 방법론, 범위, 구조에 집중한다.

그럼에도 연구자와 보안 전문가에게 이 벤치마크는 사이버 보안에서 AI 에이전트의 진전을 평가하는 가치 있는 틀을 제공한다. 더 상세한 결과와 분석은 모든 수치 지표의 1차 출처로 남아 있는 arXiv 논문 자체에서 확인할 수 있다.