arXiv:2607.08395：Token-Flow Firewall — 장기 실행 AI 에이전트를 실시간 감시하고 공격 성공률을 12.5%로 낮추다

논문 「Token-Flow Firewall: Semantic Runtime Auditing for Persistent AI Agents」（arXiv:2607.08395）의 저자 Puji Wang 등은 장기 실행 AI 에이전트를 위한 방어 메커니즘을 제안합니다. 이 메커니즘은 학습 단계만이 아닌 실행 중에 작동합니다. 영속적 에이전트는 오랜 시간 동안 여러 단계의 세션에서 작업을 처리하는 시스템입니다——바로 이 클래스의 시스템에서 한 번의 성공적인 공격이 가장 위험합니다. 그 효과가 전체 작업 체인으로 전파되기 때문입니다.

방화벽의 작동 원리

이 메커니즘은 자연어 토큰 흐름——에이전트의 입력, 중간 단계, 출력——을 실시간으로 모니터링하며 목표를 전환시키는 주입 명령 같은 공격을 나타내는 의미론적 패턴을 찾습니다. 정적 입력 검사와 달리 런타임 모니터링은 작업 중간에 활성화되는 공격도 포착할 수 있습니다. 이 시점에서 원래 입력은 이미 통과한 상태입니다. 이로써 모델 학습의 기존 보호 조치를 보완합니다.

논문을 구체적으로 만드는 수치

prompt injection 및 기타 적대적 공격 테스트에서 Token-Flow Firewall은 공격 성공률을 12.5%로 낮춥니다. prompt injection——모델 입력에 숨겨진 명령을 주입하는 기법——은 LLM 시스템에 대한 가장 집요한 공격 중 하나이며, 성공률의 측정 가능한 하락은 방어에 실질적인 가치를 부여합니다. 이 프리프린트는 아직 동료 평가를 거치지 않았으므로 주의가 필요하지만, 지표는 미래 접근 방식과의 비교에 충분히 구체적입니다.

맥락

이 논문은 일련의 7월 보안 연구 성과 중 하나입니다. GitHub의 CodeQL이 정적 분석에 prompt injection 탐지를 도입했고, arXiv 논문 『Overthinking』은 추론 모델에 대한 추출 공격을 보여주었습니다. 이들은 함께 AI 보안이 코드 정적 분석에서 생산 환경 에이전트의 런타임 방화벽까지 고유한 도구를 갖춘 독립적인 규율로 성숙해 가고 있음을 보여줍니다.