Ollama donosi do 20% brži Apple Silicon inference: MLX engine, NVFP4 kvantizacija i snimke za agentske tokove rada

Ollama je objavila najnovije ažuriranje MLX enginea za Apple Silicon koje donosi značajna poboljšanja u brzini generiranja tokena, preciznosti kvantizacije i podršci za agentske tokove rada. Ažuriranje pozicionira Apple Silicon kao ozbiljnu alternativu specijaliziranom inferentnom hardveru za pokretanje modernih, zahtjevnih jezičnih modela.

Što znači ažuriranje MLX enginea za korisnike Apple Silicona?

MLX (Machine Learning eXecution) je Appleov okvir za strojno učenje (engl. machine learning framework) optimiziran za Apple Silicon arhitekturu i njezinu unificiranu memoriju (engl. unified memory). Ollamino ažuriranje MLX enginea donosi veće brzine generiranja, bolju kvalitetu izlaznih odgovora i kraće vrijeme do prvog tokena (engl. time to first token) na svim uređajima s Apple Siliconom. Uz ubrzanje, ažuriranje uvodi tri ključne tehnološke novosti: NVFP4 kvantizaciju, sustav snimki za agentske tokove rada i nativnu podršku za modele mišljenja.

Do 20 posto brže generiranje tokena

Ažurirani MLX engine postiže do 20 posto brže generiranje tokena na Apple Silicon uređajima. Povećanje brzine ostvaruje se dvama glavnim mehanizmima:

• Fuzije Metal kernela (engl. fused Metal kernel operations) — spajanjem više operacija u jednu smanjuje se overhead komunikacije između procesorskih jezgri, što izravno povećava propusnost
• GPU-bazirano uzorkovanje (engl. GPU-backed sampling) — proces odabira sljedećeg tokena sada se odvija u potpunosti na GPU-u, eliminirajući skupocjene putove prijenosa podataka između procesorskih podsustava

Kombinacija ovih optimizacija znači da korisnici Ollamae na MacBook Pro, Mac Studio i Mac Pro uređajima dobivaju zamjetno brže odgovore modela bez ikakve promjene u konfiguraciji.

NVFP4: nova kvantizacijska razina za desktop inference

Jedno od najznačajnijih dodataka u ovom ažuriranju je podrška za Nvidijin NVFP4 format kvantizacije. Kvantizacija je tehnika koja smanjuje preciznost težina modela (engl. model weights) radi bržeg izvođenja i manjeg memorijskog otiska, uz neizbježan gubitak kvalitete.

NVFP4 pruža izvanrednu ravnotežu: format prepolovi gubitak kvalitete 4-bitne kvantizacije u usporedbi s nekvanticiziranim BF16 težinama. Jednostavnije rečeno, modeli kvantizirani pomoću NVFP4 zadržavaju znatno više detalja i preciznosti u odgovorima od modela komprimiranih standardnom 4-bitnom kvantizacijom — što čini razliku između modela koji griješi na složenim zaključivanjima i onog koji ih rješava pouzdano.

Ollama je performanse testirala na modelu Gemma 4 12B pokrenuta na MacBook Pro M5 Maxu, demonstrirajući da su datacenterski modeli sada dostupni za pokretanje na stolnim i prijenosnim računalima uz prihvatljivu razinu kvalitete.

Sustav snimki za agentske tokove rada

Novo ažuriranje uvodi sustav snimki (engl. snapshot system) koji direktno rješava jedan od ključnih izazova u agentskim tokovima rada: redundantnu obradu istog konteksta u više navrata pri grananju razgovora ili ponovnim pokušajima.

Sustav snimki funkcionira na više načina:

• Čuvanje stanja modela na točkama grananja razgovora (engl. conversation branch points) i u ključnim intervalima obrade
• Podrška za više konkurentnih agenata — svaki agent može nastaviti rad iz vlastite neovisno sačuvane snimke, bez međusobnog ometanja
• Podrška za modele mišljenja (engl. thinking models) kod kojih se tokeni razmišljanja (engl. reasoning tokens) odbacuju između izmjena — snimke osiguravaju da se kontekst ne mora ponovo procesirati od početka
• Scenariji grananja i ponovnog pokušaja (engl. branching and retry scenarios) bez potrebe za potpunom ponovnom obradom cijelog konteksta

Sustav snimki radi zajedno s predmemoriranjem prefiksa (engl. prefix caching), koje minimizira redundantno računanje između poziva alata (engl. tool calls) i predaja podataka između agenata (engl. multi-agent handoffs).

Predmemoriranje prefiksa i modeli mišljenja

Uz sustav snimki, Ollama uvodi i nativnu podršku za modele mišljenja — kategoriju modela koji generiraju interni lanac razmišljanja (engl. chain-of-thought) prije davanja konačnog odgovora. Predmemoriranje prefiksa (engl. prefix caching) smanjuje računalni trošak ponovljenih konteksta koji se pojavljuju u dugim razgovorima i višeagentskim sustavima, čineći agentske primjene ekonomičnijima i bržima.

Pokretanje Gemme 4 12B na Apple Siliconu

Sve opisane mogućnosti dostupne su odmah. Korisnici mogu isprobati ažurirani MLX engine pokretanjem modela Gemma 4 12B putem MLX backenda:

ollama run gemma4:12b-mlx

Za agentske primjene dostupna je i mogućnost pokretanja putem naredbe ollama launch pi --model gemma4:12b-mlx. Ažuriranje potvrđuje Ollaminu viziju: Apple Silicon kao prava platforma za desktop inference datacenterskih modela, koristeći Appleovu unificiranu memorijsku arhitekturu i Metal-bazirani MLX okvir za maksimalnu efikasnost na potrošačkom hardveru.