두 AI 지표가 엇갈렸다 — 그것이 결정적인 차이를 만들까?

가장 강력한 AI 시스템이 부유한 기업과 정부의 전유물로 남을 것인가, 아니면 시간이 지남에 따라 누구나 접근할 수 있게 될 것인가? 이것은 현대 AI 개발의 근본적인 정책 질문 중 하나다 — 새로운 연구에 따르면 답은 ‘예’도 ‘아니오’도 아니다. 답은 무엇을 측정하느냐에 달려 있다.

MIT와 Northwestern 대학교의 Alex Fogelison, Zachary Brown, Hans Gundlach, Jayson Lynch, Neil Thompson이 공동 저술한 논문 「Two AI Metrics Diverged: Will it Make All the Difference?」는 ICML 2026 Technical AI Governance Research Workshop에 채택되었으며, AI의 미래를 예측하려는 규제 기관, 연구자, 모든 이에게 광범위한 시사점을 가진 수학적 분석을 제시한다.

동일한 기술이 능력을 민주화하는 동시에 집중시킬 수 있는가?

연구자들의 답은 분명하다: 그럴 수 있으며, 바로 지금 그런 일이 일어나고 있다 — 어떤 벤치마크를 보느냐에 따라.

AI 연구에서 매일 사용되는 표준 모델 오류 측정값인 검증 손실은 컴퓨팅 자원이 증가함에 따라 소형 모델과 대형 모델 사이의 수렴을 보여준다. 소형 모델이 대형 모델을 따라잡는다. 이는 민주화 서사를 지지하는 신호다 — 고급 AI가 더 광범위한 행위자에게 점점 더 접근 가능해질 것이라는 주장.

그러나 다른 능력 측정 지표 세트 — 프로그래밍, 추론, 설득적 글쓰기 같은 구체적인 태스크를 테스트하는 벤치마크 — 는 발산을 보여준다. 수십억 달러의 컴퓨팅을 보유한 대형 연구소에서 개발된 프런티어 모델은 소형 모델을 따라가는 것이 아니라 격차를 계속 벌리고 있다.

두 발견 모두 동시에 유효하다. 이 역설은 우연이 아니다 — 지표 자체의 수학적 구조에서 비롯된다.

지표 분류: 제한 대 비제한

논문의 핵심 기여는 컴퓨팅 비용에 대한 함수적 형태에 따른 측정 도구의 공식 수학적 분류다.

저자들은 수학적으로 상한이 있는 제한(bounded) 지표 가 일관되게 접근성을 선호한다는 것을 증명한다. 대형 모델이 최대값에 근접하면 소형 모델이 훨씬 적은 자원으로 따라잡을 수 있다. 검증 손실이 바로 이런 지표다.

반면 상한 없이 증가할 수 있는 비제한(unbounded) 지표 는 막대한 자원을 가진 행위자의 집중을 선호한다. 한 모델이 어떤 벤치마크에서 100점을 달성하는 동안, 더 많은 자원을 가진 다른 모델은 1,000점 또는 10,000점을 달성할 수 있다. 격차는 줄어드는 것이 아니라 오히려 커진다.

이것은 단순한 이론적 호기심이 아니다. 평가 보고서, 규제 제안서, 공개 연구에서의 벤치마크 선택이 동일한 모델을 동일한 태스크에서 보더라도 어떤 결론을 얻는지를 직접 결정한다.

정책 함의: 논쟁의 일부는 측정의 인공물

연구자들은 소프트웨어 엔지니어링, 합성 생물학, 수사적 설득력 같은 도메인을 특별히 강조하는데, 이 도메인들에서는 프런티어 모델의 동일한 발전이 — 해당 도메인의 관련 능력이 수학적으로 제한되어 있는지 여부에 따라 — 민주화 또는 집중으로 보일 수 있다.

‘AI 능력이 소규모 행위자에게 접근 가능한가’를 기반으로 정책을 수립하는 규제 기관에 직접적인 시사점이 있다. 제한 지표를 사용하면 그렇다고 결론 내릴 것이다. 비제한 지표를 사용하면 그 반대로 결론 내릴 것이다.

AI 민주화 대 집중에 관한 논쟁의 일부는 기술의 실제 상태가 아닌 측정 도구의 인공물이다.

논문은 정책 결론을 도출할 때 사용된 지표의 함수적 형태를 명시적으로 파악하고 — 실험실 내 모델 비교에 적합한 벤치마크가 AI 개발의 사회적 결과를 예측하는 데 적합하지 않을 수 있다는 것을 인식하도록 — 연구 커뮤니티에 촉구한다.

AI 규제를 추적하는 연구자와 정책 입안자에게 이것은 어떤 단일 벤치마크도 접근성이나 능력 집중에 관한 결정의 유일한 지표로 사용되어서는 안 된다는 주장이다 — 그런 결론 뒤에는 항상 직관과 완전히 다를 수 있는 수학적 전제가 숨어 있기 때문이다.