NVIDIA Vera: 에이전트 AI에 더 많은 코어가 아닌 더 빠른 코어가 필요한 이유

NVIDIA는 Vera Rubin 슈퍼칩의 핵심인 Vera CPU 뒤에 있는 아키텍처 철학을 상세히 설명했습니다. 핵심 논제는 코어 수가 아니라 각 코어의 속도입니다: 에이전트 AI 루프는 본질적으로 순차적이므로 단일 스레드 처리량이 병렬 처리만큼 중요합니다.

에이전트 루프가 기존 워크로드와 다른 이유

기존의 CPU 성능 확장 접근 방식은 독립적인 작업을 병렬화하기 위해 코어를 추가하는 데 초점을 맞춥니다. 에이전트 AI 워크플로우는 다르게 작동합니다: 에이전트는 한 단계를 계획하고, 실행하고, 결과를 받은 다음, 그 결과를 바탕으로 다음 단계를 계획합니다. 각 단계는 이전 단계에 의존하므로 루프를 쉽게 병렬화할 수 없습니다.

이런 시나리오에서 단일 코어의 속도가 전체 에이전트 루프의 지연 시간을 직접 결정합니다. 코어 수는 절반이지만 두 배 빠른 코어를 가진 프로세서가 에이전트 작업에서 더 느린 코어가 많은 프로세서보다 빠를 수 있습니다.

Olympus 코어 사양

Vera CPU는 NVIDIA Grace 코어 대비 IPC 50% 향상을 제공하는 Olympus 코어를 기반으로 합니다. 프로세서는 최대 88개 코어를 지원하며 40W 미만의 메모리 서브시스템 전력 소비로 LPDDR5X 메모리를 통해 최대 1.2TB/s 메모리 대역폭을 제공합니다.

코어-투-코어 대역폭은 3.4TB/s로, NVIDIA 데이터에 따르면 다른 어떤 데이터센터 CPU보다 3배 높습니다. 이 지표는 코어들이 데이터를 집중적으로 교환해야 하는 워크로드에서 특히 관련이 있습니다.

ARM 아키텍처에 불리한 경향이 있는 고부하 워크로드에서 Vera는 x86 프로세서 대비 1.8배 높은 지속 코어당 성능을 달성합니다. NVIDIA는 이 결과를 멀티 칩 프로세서에서 칩 간 데이터 이동 시 발생하는 지연인 이른바 ‘칩렛 세금’을 제거하는 모놀리식 설계 덕분으로 설명합니다.

주요 초기 채택자 Perplexity

Perplexity는 구체적인 성능 데이터를 공유한 주요 공개 지명 사용자입니다. 회사는 저장소 클론 및 테스트 스위트 실행을 포함한 코딩 에이전트 워크플로우에서 Vera CPU를 테스트했습니다.

결과: x86 대안과 비교해 약 1.5배 빠른 작업 완료, 최대 1.9배 빠른 경쟁 샌드박스 시작. 후자의 결과는 여러 에이전트 세션을 동시에 빠르게 시작해야 하는 시나리오에서 특히 관련이 있으며, 이는 현대 코딩 어시스턴트 시스템의 일반적인 요구 사항입니다.

로드맵: Rosa와 Rigel 코어

NVIDIA는 Rigel 코어를 사용할 Rosa CPU라는 후속 제품을 발표했습니다. Rigel은 Olympus 코어와 동일한 실리콘 면적을 유지하면서 향상된 명령어 전달, 더 큰 L2 캐시, 효율적인 메모리 관리를 제공합니다.

Perplexity의 데이터 외에도 NVIDIA는 다른 파트너들의 결과도 제시합니다: Starburst는 대규모 데이터셋에서 SQL 분석 실행 3배 가속을 기록했고, Redpanda는 실시간 데이터 처리 워크로드에서 최대 6배 낮은 지연 시간을 달성했습니다. 이 결과는 Olympus 코어가 좁은 에이전트 시나리오 외에도 이점을 가져다줌을 보여줍니다.

Vera CPU는 에이전트 AI 시스템에 대한 증가하는 수요를 처리하는 인프라를 위한 NVIDIA의 더 넓은 전략의 일환으로 제공됩니다. 현재 시점에서 이번 발표는 클래식 제품 출시보다 최초 고객의 검증에 더 가깝습니다 — Perplexity가 NVIDIA가 Olympus 코어 설계에서 내린 아키텍처 결정에 대한 구체적인 시장 증거를 제공합니다.