영국 AISI: AI 에이전트 평가는 컴퓨팅 예산을 반드시 고려해야 한다
영국 AI 안전 연구소(AISI)는 고정 토큰 예산으로 AI 에이전트를 평가하면 프런티어 모델의 실제 능력을 체계적으로 과소평가한다는 연구 결과를 발표했다. 예산을 100만 토큰에서 1000만 토큰으로 늘리면 소프트웨어 엔지니어링 태스크에서 최대 25%, 수학 테스트에서 22%의 성능 향상이 나타났다. AISI는 규제 기관이 벤치마크 점수 대신 컴퓨팅 예산에 따른 능력 곡선을 채택할 것을 촉구한다.