arXiv:2606.09700: 타이포그래픽 공격, 1% 미만 탐지율로 AI 콘텐츠 모더레이션 우회

테네시 대학교, IBM Research, 일리노이 대학교 연구진이 2026년 6월 8일 v1로 발표한 arXiv:2606.09700 논문에서 콘텐츠 모더레이션 시스템에 대한 새로운 공격 유형을 정의하였습니다. USENIX Security 2026에 채택된 이 방법은 모더레이션 모델의 내부 파라미터에 접근하지 않고 의미론적 메시지를 변경하지 않은 채 순수하게 타이포그래픽 텍스트 조작만을 기반으로 합니다.

HPAA 공격이란 무엇입니까

HPAA(Human-Perceptible Adversarial Attacks)는 공백, 강조, 텍스트의 공간적 배치 등 인간이 볼 수 있는 타이포그래픽 요소를 사용하여 자동 탐지기에는 유해한 콘텐츠를 숨기면서 인간에게는 쉽게 읽힐 수 있도록 합니다. 픽셀 수준의 고전적 적대적 변형이나 숨겨진 Unicode 토큰과 달리, HPAA 조작은 명확히 지각 가능합니다. 독자는 메시지를 어려움 없이 해독하는 반면, 모더레이션 시스템은 콘텐츠를 안전하다고 분류합니다.

테스트 결과: 13개 시스템, 86%, 1% 미만

저자 Qin Yang, Lu Malloy, Joshua Lee, Xiaohan Chang, Meisam Mohammady, Doowon Kim, Yuan Hong은 13개의 상업적·오픈소스 콘텐츠 모더레이션 시스템에서 이 방법을 테스트하였습니다.

• 86% 초과 인간 인식률 — 평가단이 타이포그래픽으로 수정된 형태에서도 유해 콘텐츠를 올바르게 식별
• 1% 미만 탐지율 — 자동 모더레이터는 공격을 사실상 인식하지 못함
• 단 3번의 쿼리 탐지기 질의 — 그래디언트 정보 없는 블랙박스 접근

비교가 웅변합니다. 알고리즘이 안전하다고 판단하는 같은 텍스트를 인간은 100번 중 86번 이상 유해한 것으로 인식합니다. 기계 탐지와 인간 지각 간의 간극이 이처럼 정밀하게 정량화된 것은 이번이 처음입니다.

AI 모더레이터는 왜 조작된 타이포그래피를 ‘보지 못합니까’?

원인은 LLM과 인간의 시각 시스템 사이의 아키텍처적 비대칭에 있습니다. LLM 토크나이제이션은 정적 규칙에 따라 텍스트를 부분 문자열로 분해하며, 뇌가 자동으로 조작된 텍스트의 의도된 의미를 재구성하는 시각적 지각 계층이 없습니다. 공격자가 글자 사이에 삽입한 공백이나 예상치 못한 줄 바꿈은 독자에게는 의미론적 변화를 일으키지 않지만, 모더레이터가 탐지에 사용하는 토크나이제이션 패턴을 방해합니다.

저자들은 기존 모더레이터의 파인튜닝만으로는 충분하지 않다고 결론짓습니다. 장기적인 해결책은 타이포그래픽 노이즈에 강인한 시각적 전처리 계층이나 토크나이제이션 방식을 필요로 합니다.