Google DeepMind Decoupled DiLoCo: 20× manja mrežna propusnost za AI trening kroz geografski razdvojene datacentre

Google DeepMind je 23. travnja 2026. objavio Decoupled DiLoCo, novu iteraciju svoje distribuirane arhitekture za trening AI modela. Ključni rezultat — potrebna mrežna propusnost između datacentara pada s 198 Gbps na 0,84 Gbps za konfiguraciju s 8 datacentara, uz istodobno poboljšanje goodputa s 27% na 88% u scenariju s visokom stopom kvarova.

Što je DiLoCo i zašto je bio potreban?

DiLoCo (Distributed Low-Communication) je metoda koju je DeepMind predstavio 2023. i dorađivao tijekom 2024. godine. Rješava fundamentalni problem modernog AI treninga — razliku u propusnosti mreže unutar i između datacentara.

Unutar jednog datacentra, GPU-ovi su povezani ultra-brzim vezama (NVLink, InfiniBand) koje postižu stotine Gbps po čvoru. No kada se trening želi rasporediti preko više geografski razdvojenih datacentara, propusnost između njih je 10 do 100 puta manja, a latencija značajno veća.

Klasični data-parallel algoritmi zahtijevaju čestu sinkronizaciju gradijenata — propusnost koja postoji unutar datacentra, ali ne i između njih. DiLoCo taj problem rješava lokalnim optimizacijskim koracima koji se izvode bez sinkronizacije, a tek povremeno se razmjenjuju akumulirani gradijenti.

Što je “decoupled” inovacija?

Nova iteracija predstavljena 23. travnja uvodi koncept asinkronih otoka računanja. Umjesto da svi datacentri u istom trenutku rade isti korak, pojedinačni “otoci” napreduju neovisno i komuniciraju samo na ključnim kontrolnim točkama.

To razdvajanje (decoupling) računskog i komunikacijskog toka dramatično smanjuje pritisak na mrežu između datacentara. Prema DeepMindovim objavljenim brojkama, potrebna propusnost pada s 198 Gbps na 0,84 Gbps — smanjenje od oko 235 puta.

Koje su ključne brojke?

DeepMind je objavio tri ključne metrike:

• Propusnost: 198 Gbps → 0,84 Gbps između 8 datacentara
• Goodput (stvarni protok korisnog rada): 88% s Decoupled DiLoCo vs 27% kod konvencionalnih metoda, mjereno u simulaciji s 1,2 milijuna čipova i visokom stopom kvarova
• Točnost: 64,1% s novom metodom vs 64,4% baseline — degradacija od 0,3 postotna boda

Treći broj je najvažniji. Povijesno, distribuirane metode donosile su veliku komunikacijsku dobit, ali uz značajan pad modelske kvalitete. Decoupled DiLoCo tu dilemu praktički eliminira — ušteda na mreži dolazi uz minimalan trošak.

Što to znači u praksi?

Implikacije su dalekosežne. Treniranje trilion-parameter modela dosad je zahtijevalo ultra-povezane mega-datacentre ili komercijalne clouds s posebnim AI-optimiziranim fabric mrežama. Decoupled DiLoCo pokazuje da se isti posao može obaviti preko geografski razdvojene infrastrukture — čak i one s modestnom mrežnom propusnošću između lokacija.

Za open-source AI zajednicu i manje laboratorije, to smanjuje “compute moat” koji trenutno imaju Google, Microsoft i Meta. Projekti koji imaju pristup nekoliko srednje velikih GPU klastera (ne moraju biti na istoj lokaciji) mogu sada realno razmatrati treniranje konkurentnih modela.

Odnos prema konkurenciji

Slične pristupe istražuju i drugi. Meta FLocal pokušava optimizirati distribuirani trening kroz parallel pipeline, dok Anthropic TurboTrain fokusira na optimizaciju throughputa unutar vlastite infrastrukture. Decoupled DiLoCo se po objavljenim brojkama čini najagresivnijim u smanjenju mrežnih zahtjeva.

Iako je riječ o istraživačkoj objavi, a ne o otvorenom kodu, Google ima praksu otvaranja takvih metoda kroz JAX ekosustav. Ako se to dogodi i ovaj put, otvoreni istraživači dobit će snažan novi alat.