Ollama, Apple Silicon 추론 속도 최대 20% 향상: MLX 엔진, NVFP4 양자화, 에이전틱 워크플로우용 스냅샷

Ollama가 Apple Silicon용 MLX 엔진 최신 업데이트를 발표했습니다. 토큰 생성 속도, 양자화 정밀도, 에이전틱 워크플로우 지원에서 상당한 개선을 담고 있습니다. 이 업데이트는 Apple Silicon을 최신의 까다로운 언어 모델 구동을 위한 특수 추론 하드웨어의 진지한 대안으로 자리매김합니다.

Apple Silicon 사용자에게 MLX 엔진 업데이트의 의미는?

MLX(Machine Learning eXecution)는 Apple Silicon 아키텍처와 그 통합 메모리(unified memory)에 최적화된 Apple의 머신러닝 프레임워크입니다. Ollama의 MLX 엔진 업데이트는 모든 Apple Silicon 기기에서 더 빠른 생성 속도, 더 높은 출력 품질, 짧은 첫 번째 토큰 시간(time to first token)을 제공합니다. 속도 향상 외에도 세 가지 핵심 기술 혁신을 도입합니다. NVFP4 양자화, 에이전틱 워크플로우용 스냅샷 시스템, 추론 모델 네이티브 지원.

토큰 생성 속도 최대 20% 향상

업데이트된 MLX 엔진은 Apple Silicon 기기에서 토큰 생성 속도가 최대 20% 빨라집니다. 속도 향상은 두 가지 주요 메커니즘을 통해 이루어집니다.

• Metal 커널 융합(fused Metal kernel operations) — 여러 연산을 하나로 결합하여 프로세서 코어 간 통신 오버헤드를 줄이고 처리량을 직접 높임
• GPU 기반 샘플링(GPU-backed sampling) — 다음 토큰 선택 프로세스가 이제 GPU에서 완전히 실행되어 프로세서 서브시스템 간 비용이 많이 드는 데이터 전송 경로 제거

이러한 최적화의 조합으로 MacBook Pro, Mac Studio, Mac Pro 기기의 Ollama 사용자는 구성 변경 없이 눈에 띄게 빠른 모델 응답을 경험할 수 있습니다.

NVFP4: 데스크톱 추론을 위한 새로운 양자화 수준

이번 업데이트의 가장 중요한 추가 사항 중 하나는 NVIDIA의 NVFP4 양자화 형식 지원입니다. 양자화는 모델 가중치(model weights)의 정밀도를 줄여 더 빠른 실행과 더 작은 메모리 풋프린트를 달성하는 기술로, 불가피한 품질 손실이 수반됩니다.

NVFP4는 탁월한 균형을 제공합니다. 이 형식은 비양자화 BF16 가중치 대비 4비트 양자화의 품질 손실을 절반으로 줄입니다. 더 쉽게 말하면, NVFP4로 양자화된 모델은 표준 4비트 양자화로 압축된 모델보다 훨씬 더 많은 세부 정보와 응답 정밀도를 유지합니다 — 복잡한 추론에서 오류를 범하는 모델과 안정적으로 해결하는 모델 간의 차이를 만들 수 있습니다.

Ollama는 MacBook Pro M5 Max에서 실행한 Gemma 4 12B 모델을 기준으로 성능을 테스트하여, 데이터센터 모델을 이제 허용 가능한 품질 수준으로 데스크톱 및 노트북에서 실행할 수 있음을 보여줬습니다.

에이전틱 워크플로우용 스냅샷 시스템

새 업데이트는 에이전틱 워크플로우에서 핵심 과제 중 하나인 대화 분기 또는 재시도 시 동일한 컨텍스트를 여러 번 중복 처리하는 문제를 직접 해결하는 스냅샷 시스템(snapshot system)을 도입합니다.

스냅샷 시스템은 다음과 같이 작동합니다.

• 대화 분기 지점(conversation branch points)과 처리의 주요 인터벌에서 모델 상태 저장
• 여러 동시 에이전트 지원 — 각 에이전트가 상호 간섭 없이 자체적으로 독립 저장된 스냅샷에서 계속 작업
• 교환 사이에 추론 토큰(reasoning tokens)이 삭제되는 추론 모델(thinking models) 지원 — 스냅샷으로 인해 처음부터 컨텍스트를 재처리할 필요 없음
• 전체 컨텍스트를 완전히 재처리하지 않아도 되는 분기 및 재시도 시나리오(branching and retry scenarios)

스냅샷 시스템은 도구 호출(tool calls)과 에이전트 간 핸드오프(multi-agent handoffs) 사이에 중복 계산을 최소화하는 프리픽스 캐싱(prefix caching)과 함께 작동합니다.

프리픽스 캐싱 및 추론 모델

스냅샷 시스템 외에도 Ollama는 추론 모델 네이티브 지원을 도입합니다 — 최종 답변을 제공하기 전에 내부 사고 체인(chain-of-thought)을 생성하는 모델 카테고리. 프리픽스 캐싱(prefix caching)은 긴 대화와 멀티에이전트 시스템에서 나타나는 반복 컨텍스트의 계산 비용을 줄여 에이전틱 응용 프로그램을 더 경제적이고 빠르게 만듭니다.

Apple Silicon에서 Gemma 4 12B 실행

설명된 모든 기능을 즉시 이용할 수 있습니다. 사용자는 MLX 백엔드를 통해 Gemma 4 12B 모델을 실행하여 업데이트된 MLX 엔진을 시험해볼 수 있습니다.

ollama run gemma4:12b-mlx

에이전틱 응용 프로그램의 경우 ollama launch pi --model gemma4:12b-mlx 명령으로도 실행할 수 있습니다. 이 업데이트는 Ollama의 비전을 확인합니다. Apple Silicon이 데이터센터 모델의 데스크톱 추론을 위한 진정한 플랫폼 — Apple의 통합 메모리 아키텍처와 Metal 기반 MLX 프레임워크를 소비자 하드웨어에서 최대 효율을 위해 활용.