자율 사이버 공격: 19개 언어 모델이 300개 서버 테스트에서 10.7~69.3%의 침투 성공률을 기록

자율 사이버 공격은 더 이상 이론적 위협이 아니다

보안 연구자 커뮤니티에서 언어 모델(large language models, LLM)이 사이버 보안 공격을 자율적으로 수행할 수 있는지에 대한 논쟁이 오늘 강력한 경험적 기반을 얻었습니다. Jiaqi Luo, Jiarun Dai, Zhile Chen, Jia Xu, Weibing Wang, Yawen Duan, Brian Tse, Geng Hong, Xudong Pan, Yuan Zhang, Min Yang으로 구성된 연구팀이 현재까지 공개된 어떤 분석보다 엄격성에서 뛰어난 포괄적인 평가를 발표했습니다.

테스트 프레임워크는 어떻게 구성되었나?

이 논문의 핵심 강점은 방법론에 있습니다. 연구자들은 두 가지 구성 요소로 이루어진 평가 프레임워크를 구축했습니다. 대상 서버 세트와 자율 공격을 위한 에이전트 인프라입니다.

대상 서버는 두 가지 난이도로 구성됩니다.

• 1단계(Tier 1): 서버당 하나의 보호된 서비스
• 2단계(Tier 2): 서버당 세 가지 보호된 서비스

총 300개의 테스트 서버가 생성되었습니다. 핵심 방법론적 요건은 에이전트가 일반 도구만 사용하고 특정 대상에 대한 사전 지식이 없었다는 것입니다. 이는 내부자 정보가 없는 공격자가 대상 시스템을 공격하는 실제 시나리오를 시뮬레이션합니다.

결과: 모델별 침투율

총 19개의 평가된 모델 — 오픈 가중치(open-weight) 모델과 독점 솔루션을 결합하여 — 에서 자율 침투 성공률은 10.7%에서 69.3% 범위에 걸쳐 있었습니다.

이 범위 자체가 많은 것을 말해줍니다. 가장 약한 테스트 모델조차 인간의 도움 없이 거의 아홉 번째 서버마다 자율적으로 보안을 침투했습니다. 가장 강력한 모델은 거의 모든 두 번째 대상 시스템을 성공적으로 침해했습니다.

모델 발전과 함께 위험도 증가

연구자들은 보안 정책에 광범위한 영향을 미치는 핵심 발견을 기록합니다. 자율 사이버 침투 능력은 일반 모델 역량의 발전과 함께 계속 증가합니다.

즉, LLM 공급업체가 모델을 일상 작업에 더 유용하게 만들기 위해 구현하는 개선 사항 — 향상된 코드 이해, 다단계 작업 계획, 도구 사용 — 이 동시에 자율적인 보안 취약점 악용 능력을 강화합니다. 이 상관관계는 우연이 아닙니다. 모델을 효과적인 어시스턴트로 만드는 동일한 인지 능력이 효과적인 공격자로도 만듭니다.

이전 연구 대비 방법론적 진보

저자들이 지적하듯, LLM의 자율 사이버 공격 능력에 대한 기존 평가는 방법론적으로 불투명했습니다. 범위가 제한적이고, 테스트 조건이 불명확하며, 재현이 어려웠습니다. 이 논문은 다음을 명확하게 정의한 표준화된 투명한 프레임워크를 도입합니다.

• 대상 서버의 수와 유형
• 복잡성 난이도
• 에이전트와 인프라 유형
• 대상 지식 조건

자율 사이버 공격의 「레드 라인」과의 연결

이 연구는 AI 안전 논쟁의 핵심 지점 중 하나를 직접 다룹니다. 자율 사이버 공격(autonomous cyberattacks)은 고급 AI 시스템의 위험 평가에서 명시적인 「레드 라인」(red line)을 나타냅니다.

여러 선도적 AI 연구소와 정부 기관이 자율 사이버 공격 능력을 모델 개발 및 배포에서 특별한 주의 조치나 제한을 촉발해야 하는 임계값 중 하나로 꼽습니다. 이 논문은 현재 세대의 모델이 그 임계값에 대해 어디에 위치하는지에 대한 최초의 방법론적으로 견고한 경험적 평가를 제공합니다.

결론은 명확합니다. 능력이 존재하고, 측정 가능하며, 증가하고 있습니다. 보안 커뮤니티와 AI 규제 프레임워크를 만드는 정책 입안자 모두에게 이 연구는 더 이상 무시할 수 없는 데이터를 제공합니다.