AISI: 프론티어 AI 모델, £150 미만으로 심각한 클라우드 취약점 발견

영국 AI 안보 연구소(AISI)가 자체 엔지니어링 팀이 프론티어 AI 모델을 사용해 연구 플랫폼을 보안 감사한 상세 사례 연구를 발표했습니다. 결과는 매우 시사적입니다: 모델이 표준 도구로는 이전에 발견하지 못했던 심각한 클라우드 취약점을 찾아냈으며, 가장 어려운 공격 체인은 모델 토큰 비용 £150 미만으로 발견되었습니다.

깊이와 노이즈가 다른 세 가지 접근 방식

팀은 자율성과 인간 감독의 비율이 다른 세 가지 방법론을 테스트했습니다.

소스 코드 정적 분석은 인간 참여 면에서 가장 부담이 적었습니다: 코딩 에이전트가 보안 검토자 역할로 비공개 저장소에 접근하여 독립적으로 코드를 분석했습니다. 이 접근 방식은 ‘높음’ 또는 ‘심각’으로 표시된 경고를 가장 많이 생성했지만 노이즈도 가장 많았습니다. 많은 보고된 문제가 덜 심각하거나 악용 불가능한 것으로 밝혀져 결과 필터링에 광범위한 엔지니어링 작업이 필요했습니다.

자동화된 에이전트 탐사는 Inspect eval 프레임워크 내에서 구축된 자율 에이전트를 기반으로 했습니다. 에이전트는 연구자 수준의 접근에서 시작하여 독립적으로 악용 가능한 경로를 식별하려 했습니다. 이 접근 방식은 정적 분석보다 더 구체적이고 실행 가능한 결과를 냈습니다.

Human-in-the-loop 레드팀은 보안 연구원의 전문성과 코딩 에이전트의 기능을 결합했습니다: 연구원이 각 단계를 수동으로 승인하며 인터랙티브하게 에이전트를 안내했습니다. 이 접근 방식은 가장 명확하고 직접적으로 실행 가능한 결과를 냈습니다.

아무도 보지 못한 5단계 공격 체인

프로젝트의 핵심 발견은 다섯 개의 독립적인 단계로 구성된 이전에 발견되지 않은 공격 체인이었습니다. 이 체인은 일반 사용자가 피해자와 상호작용 없이 플랫폼에서 다른 연구자의 데이터에 접근할 수 있게 했습니다. 엔지니어들은 공격 경로를 ‘이해할 수 있지만 직관적이지 않은’ 것으로 묘사했습니다 — 개별 단계 중 어느 것도 심각해 보이지 않기 때문에 일상적인 검토에서 놓치게 되는 취약점의 유형입니다.

5단계 체인 외에도 접근 제어 취약점, 권한 에스컬레이션 경로, 소프트웨어 공급망 보안 약점도 발견되었습니다.

테스트한 모든 프론티어 모델이 적어도 하나의 악용 가능한 취약점을 찾았습니다. 가장 유능한 모델은 여러 발견된 약점을 성공적으로 연결하여 측면 이동과 무단 데이터 접근을 가능하게 했습니다.

탐지 격차가 핵심 결론인 이유

프로젝트에서 특히 우려스러운 측면은 에이전트 활동 자체의 탐지와 관련됩니다. 자율 에이전트가 탐사를 수행할 때 표준 상업용 알림 시스템이 해당 활동을 완전히 놓쳤습니다 — 비정상적인 동작에 대한 경고를 전혀 생성하지 않았습니다.

에이전트 없는 클라우드 스캐닝과 호스트 수준 센서를 결합한 고급 모니터링만이 공격적 동작을 올바르게 식별했습니다: 자격증명 탈취 시도와 예상치 못한 네트워크 트래픽. 두 탐지 접근 방식 사이의 격차는 표준 상업용 알림에만 의존하는 조직이 AI 에이전트가 인프라 내에서 정찰을 수행할 때를 인식하지 못할 것임을 보여줍니다.

AI 보안 감사의 경제학

프로젝트의 비용 측면은 특별한 주목을 받을 가치가 있습니다. 주요 공격 체인 발견 비용은 모델 토큰으로 £150 미만이었습니다. 세 가지 접근 방식 모두와 테스트한 모든 모델을 포함한 전체 프로젝트 총 비용은 £1,000 미만이었습니다.

동등한 감사를 위해 전문 보안 연구원을 고용하는 비용과의 비교는 AI 지원 레드팀이 제한된 보안 예산을 가진 조직에도 경제적으로 접근 가능한 도구임을 시사합니다.

AISI는 모든 접근 방식이 고유한 장점과 단점을 가지며 방법론의 조합이 가장 완전한 그림을 제공한다고 강조합니다. 정적 분석은 포괄적인 커버리지에 좋은 반면, 에이전트 및 human-in-the-loop 접근 방식은 즉시 실행할 수 있는 더 작지만 신뢰할 수 있는 결과 세트를 제공합니다.

이 사례 연구는 업계가 사이버보안 맥락에서 프론티어 AI 모델의 이중적 성격에 대해 활발히 논의하는 시점에 나왔습니다: 취약점을 찾을 수 있는 동일한 모델이 이를 악용할 수도 있으며, 방어 팀에게 그 역량을 이해하는 것이 중요해지고 있습니다.