arXiv:2607.16112: 과학자들, 프론티어 AI 기업의 안전 역량 임계값 조율 제안

왜 프론티어 AI 기업들의 안전 임계값은 이렇게나 다른가?

Wilber Sean Anterola, Matthew Ball, Luis F. Lafuerza, Markov Grey가 저술한 논문 “Harmonizing AI Safety Thresholds”(arXiv:2607.16112)는 프론티어 AI 기업들이 현재 자사 모델의 능력에 대해 크게 다른 안전 임계값(safety threshold)을 설정하고 있다고 경고합니다. 안전 임계값이란 모델의 능력이 사전에 정해진 수준에 도달했을 때 기업이 추가적인 보호 조치를 도입하거나 출시를 연기해야 하는, 미리 정해진 역량 수준입니다. 정의와 방법론의 차이로 인해 규제 기관, 연구자, 감사인 같은 제3자는 특정 기업이 실제로 자사의 임계값을 초과했는지 검증할 수 없습니다. 각 기업이 저마다의, 종종 비공개인 기준을 사용하기 때문입니다.

두 가지 다른 접근 방식: 오용 대 AI 연구개발

저자들은 사이버 공격이나 생물무기 같은 오용 위험에 대한 임계값은 기대 피해(expected harm)에 기반한 위험 모델링과 모델이 애초에 대중에게 공개되어도 되는 조건에 기반해야 한다고 제안합니다. 반면 자동화된 AI 연구개발(R&D)의 임계값은 피해 평가가 아니라 관찰된 AI 시스템의 발전 속도에 기반해야 한다고 저자들은 말합니다. 가속화된 자율적 AI 발전으로 인한 피해는 구체적인 사이버 공격이나 생물학적 공격으로 인한 피해보다 사전에 정량화하기가 더 어렵기 때문입니다. 프론티어 AI란 업계의 현재 역량 한계선에 있는 가장 진보된 모델을 가리키는 용어입니다.

업계는 “바닥을 향한 경쟁”에 직면하는가?

이 논문은 기존 위험 평가 접근 방식의 경험적 공백을 지적하며, “바닥을 향한 경쟁”(race to the bottom)의 가능성을 경고합니다. 이는 공통의 최소 임계값이 없을 때 기업들이 더 빠르게 모델을 출시하고 시장에서 경쟁력을 유지하기 위해 자사의 안전 기준을 점진적으로 낮추는 시나리오입니다. 저자들에 따르면, 조율된 방법론은 업계 전반에 걸쳐 비교 가능하고 검증 가능한 임계값을 도입함으로써 바로 이러한 역학을 막아야 하며, 이를 통해 제3자는 개별 기업의 자체 평가에 의존하는 대신 독립적인 감사를 위한 실질적인 수단을 얻게 됩니다.