arXiv:2604.21854 「블랙박스의 경계 획정」: EU AI 법에 따른 고위험 AI 시스템의 통계적 인증 프레임워크

연구자 Natan Levy와 Gadi Perl은 2026년 4월 23일 ArXiv에 「Bounding the Black Box」(arXiv:2604.21854)라는 제목의 논문을 발표했습니다. 이 논문은 규제 기관과 산업계가 2년 이상 직면해 온 문제——어떤 법도 「충분히 안전」의 의미를 수치로 정의하지 않는 상황에서 고위험 AI 시스템의 안전성을 어떻게 증명할 것인가——에 정면으로 대응합니다.

11페이지 분량의 이 논문은 EU AI법이 운영 적용 단계에 진입하는 바로 그 시점에 발표되었습니다. 크로아티아의 Hanfa, 각 부처, 대기업들은 명확한 방법론적 근거 없이 AI 시스템에 대한 적합성 평가를 시작해야 하는 상황에 놓여 있습니다.

구체적인 규제 공백은 무엇입니까?

저자들은 문제를 날카롭고 정확하게 공식화합니다. 세 가지 핵심 규제 문서——EU AI법, NIST 위험 관리 프레임워크(RMF), 유럽평의회 AI·인권·법치에 관한 협약——은 모두 고위험 시스템 운영자에게 배포 전 안전성 증명을 요구합니다. 그러나 저자들이 지적하듯: 「none specifies what ‘acceptable risk’ means in quantitative terms, and none provides a technical method for verifying that a deployed system actually meets such a threshold.」

즉, 규제 기관은 증명을 요구하면서 무엇을 증명해야 하는지도, 어떻게 증명해야 하는지도 제시하지 않는 것입니다. 이는 의무 이행자들에게 법적 불확실성을 야기하고, 실질적인 품질 측정이 없는 형식적 위험 평가인 「컴플라이언스 극장」의 여지를 제공합니다.

제안된 2단계 프레임워크의 구조

Levy와 Perl이 제안하는 프레임워크는 항공 안전 프로토콜에서 영감을 받았습니다. 항공 분야에서 안전성은 기대가 아닌 사전 정의된 임계값 이하의 오류율 측정을 통해 증명됩니다.

1단계——정책적 결정. 주관 기관(EU 맥락에서는 각국 규제 기관 또는 유럽 AI 사무국)이 허용 오류 확률 δ(델타)와 입력의 운영 도메인 ε(엡실론)이라는 두 값을 공식적으로 확정합니다. 이 단계는 기술적 결정이 아닌 정책적·법적 결정입니다. 「허용 가능」을 정의하는 권한을 가진 주체가 임계값을 설정합니다.

2단계——기술적 검증. 통계 도구 RoMA와 gRoMA가 지정된 운영 도메인 ε에서 시스템의 실제 오류율에 대한 감사 가능한 상한을 산출합니다. 상한이 δ 이하로 떨어지면 인증이 통과되고, 그렇지 않으면 통과되지 않습니다.

RoMA 접근법이 폐쇄형 모델에 특히 중요한 이유

요약에 따르면 RoMA와 gRoMA 도구의 핵심 기술적 특성은 모델 내부 구조에 대한 접근 없이도 작동한다는 점입니다. 감사 담당자는 가중치, 그래디언트, 아키텍처 세부 정보가 필요하지 않습니다. 입출력 데이터만으로 오류율의 통계적 경계를 산출할 수 있습니다.

이는 유럽 시장에서 결정적인 의미를 가집니다. EU AI법의 적용을 받을 대부분의 고위험 시스템이 폐쇄형 상용 모델(OpenAI, Anthropic, Google, Mistral)이기 때문입니다. 모델 가중치에 대한 접근을 요구하는 인증 방법은 실제로는 적용 불가능합니다. RoMA는 제3자 기관이 블랙박스 시스템에 대해서도 실질적인 검증을 수행할 수 있게 합니다.

크로아티아 의무 이행자와 규제 기관에 대한 의미

고위험 AI 시스템(의료, 금융, HR 프로세스, 핵심 인프라)을 개발하거나 통합하는 크로아티아 기업에게 이 논문은 규제 기관이 자체 지침을 발표하기 전까지 활용할 수 있는 구체적인 기술 템플릿을 제공합니다. 이 접근법은 공급업체와의 협상에서도 유용합니다. 모델 제공자에게 일반적인 「모델 카드」 설명 대신 RoMA 방식으로 산출된 통계적 증거를 요구할 수 있습니다.

AZOP 및 크로아티아의 잠재적 미래 AI 감독 기관에게 이 논문은 학술적으로 발표되고, 동료 심사를 거쳤으며, 하위 법령으로 채택하기에 기술적으로 충분히 구체적인 방법론적 출발점을 제공합니다. 요약에는 구체적인 p값 임계값이나 사례 연구가 없으므로 구현 전에 논문 전문을 읽어야 하지만, 방향은 명확합니다. AI 안전성의 정량적 인증은 더 이상 이론적 과제가 아닌 실무적 과제입니다.