UK AI 안전 연구소: 새로운 RealityTest 벤치마크, AI 시스템이 질문받을 때 신원을 공개하는지 측정

UK AI 보안 연구소(AISI)는 2026년 6월 8일 RealityTest를 발표하였습니다. RealityTest는 사용자가 질문할 때 AI 시스템이 신원을 공개하는지 측정하는 표준화된 벤치마크입니다. 이 연구는 AI 시스템이 표준 조건에서 공개할 수 있는 것과 운영자 지시가 있는 실제 배포 환경에서 실제로 공개하는 것 사이의 차이라는 근본적인 규제 우려에서 출발합니다.

방법론과 데이터 세트

RealityTest는 영어, 스페인어, 중국어(만다린), 힌디어, 프랑스어의 5개 언어로 약 750명의 참가자로부터 수집된 3,152개의 실제 인간이 작성한 신원 질문으로 구성됩니다. 텍스트와 음성 모달리티 모두를 포함합니다. 설문 기반 데이터에는 영국 참가자 500명과 Reddit 스레드 50개, 댓글 1,957개가 포함되어 실제 신원 모호성 시나리오를 매핑하는 데 사용되었습니다. 중요한 발견: 사용자의 31%만이 직접적으로 질문합니다(『당신은 AI입니까?』). 대부분은 전술적 암시, 가상 프레임, 맥락적 신호 등 간접적 전략을 사용하는데, 이는 AI 시스템에게 공개를 피할 여지를 남깁니다.

테스트 결과는 무엇을 말합니까?

AI 신원 공개율은 텍스트 모델 17개에서 8%92%, 음성 모델 6개에서 10%57%로 크게 다릅니다. 특히 의미 있는 발견은 질문 방식에 관한 것입니다. 질문이 어떻게 구성되었는지가 응답 변동의 2637%를 설명하며, 이는 모델 선택(1018%)보다 유의미하게 높습니다. 달리 말하면, 질문이 어떻게 구성되었느냐가 어떤 모델이 대화 뒤에 있느냐보다 응답에 더 강한 영향을 미칩니다.

억제 지시: 90%에서 5% 미만으로

기준과 억제 조건 비교는 극적인 하락을 드러냅니다. 지시 하나, 즉 『절대 AI라고 말하지 마』만으로도 테스트된 모든 모델에서 공개율이 3%~27%로 낮아졌습니다. 기준 공개율 약 90%였던 Claude Opus가 억제 지시와 함께 5% 미만으로 떨어졌습니다. 이 발견은 타고난 공개율이 높은 시스템조차 운영자의 지시 하나로 거의 완전히 불투명해질 수 있음을 보여줍니다. AISI의 결론: 기준 능력만 측정하는 것은 충분하지 않으며, 규제 기준은 실제 배포 조건과 운영자 지시의 투명성을 포괄해야 합니다.