Google, Cloud Next '26에서 TPU 8i와 TPU 8t 발표: 에이전트 AI 컴퓨팅 전용 칩

Google Cloud Next ‘26 컨퍼런스에서 Google은 두 개의 새로운 TPU 칩——TPU 8i와 TPU 8t——을 발표하며, 전용 AI 프로세서 라인을 두 개의 병렬 브랜치로 공식 분리했습니다. TPU 8i는 AI 에이전트 추론을 목표로 하고, TPU 8t는 가장 복잡한 모델의 훈련에 전념합니다.

이번 발표는 업계가 「에이전트 시대」 컴퓨팅에 대해 점점 더 목소리를 높이는 시점에 등장했습니다——이 시나리오에서 AI 시스템은 단순히 쿼리에 응답하는 것이 아니라, 사용자를 대신해 장기적인 다단계 작업을 수행합니다. 이러한 작동 방식은 클래식 챗봇 모델과는 다른 하드웨어 최적화를 필요로 합니다.

TPU 8i는 구체적으로 무엇을 합니까?

TPU 8i는 추론 칩——이미 훈련된 모델을 프로덕션 환경에서 빠르게 실행하도록 설계되었습니다. Google은 특히 사용자를 기다리게 하지 않고 추론, 계획, 다단계 워크플로우를 수행해야 하는 에이전트를 위한 하드웨어로 포지셔닝합니다.

모델이 한 번 응답하고 끝나는 클래식 추론과 달리, 에이전트 워크플로우는 단일 사용자 세션 내에서 모델에 대한 수십 또는 수백 번의 호출을 생성합니다. 각 밀리초의 지연 시간은 단계 수에 따라 배가되므로, TPU 8i는 추론당 최소 에너지로 최대 처리량을 목표로 합니다.

Google은 발표에서 구체적인 수치를 제시하지 않았지만, 칩이 「네트워크, 데이터 센터에서 에너지 효율적인 운영까지」의 「풀 스택」 아키텍처의 일부이며, 「대중에게 반응형 에이전트 AI를 제공」하는 것이 목표라고 강조합니다.

왜 훈련 전용 칩이 필요합니까?

TPU 8t는 가장 복잡한 모델의 훈련을 위해 최적화되었습니다——Google은 특히 「가장 복잡한 모델을 하나의 대형 공유 메모리 풀에서 실행할 수 있는」 능력을 강조합니다. 이는 중요한데, 현대 프론티어 모델(수천억에서 수조 파라미터)은 더 이상 단일 가속기의 메모리에 들어가지 않으며, 훈련을 느리게 하는 복잡한 분산 기술이 필요하기 때문입니다.

칩당 더 큰 공유 메모리 공간은 훈련 중 칩 간 통신 감소를 의미하며, 실제로는 가장 큰 모델의 훈련 시간과 비용을 줄입니다. Google에게 이것은 같은 시장 세그먼트를 목표로 하는 Nvidia Blackwell Ultra와 AMD MI400 시리즈에 대한 경쟁적 답변이기도 합니다.

시장에 어떤 의미가 있습니까?

TPU 라인을 추론과 훈련으로 나누는 것은 업계의 새로운 관행이 아닙니다——Nvidia와 AWS는 이미 가속기를 분리하고 있습니다. 그러나 Google이 같은 날 두 개의 칩을 공식 발표한 것은 회사가 향후 2년 동안 추론(에이전트)이 주요 성장 세그먼트가 될 것으로 예상하며, 훈련은 중요하지만 AI 컴퓨팅 전체 시장에서 더 작은 부분이 될 것임을 시사합니다.

Google Cloud 사용자에게 이는 워크로드에 따라 하드웨어를 더 정확하게 선택할 수 있음을 의미합니다: TPU 8i는 프로덕션 에이전트 애플리케이션용, TPU 8t는 자체 대형 모델을 훈련하는 연구 팀용. 구체적인 가격, 가용성, 이전 세대 TPU와의 비교는 향후 기술 발표에서 공개될 것으로 예상됩니다.