GitHub: Copilot HyDRA router automatski bira model i donosi 72,5% uštede uz istu kvalitetu

GitHub je opisao HyDRA, model usmjeravanja koji Copilotu omogućuje da za svaki zadatak automatski odabere najprikladniji AI model i tako smanji trošak bez gubitka kvalitete.

Usmjeravanje prema složenosti zadatka

HyDRA je model usmjeravanja (router) koji bira AI model prema četiri kriterija: dubini rezoniranja, složenosti koda, težini debugiranja i potrebi za orkestracijom alata. Umjesto da svaki upit ide na isti veliki model, jednostavni zadaci dobivaju jeftiniji model, a složeni skuplji. Time se izbjegava trošenje skupog rezoniranja na trivijalne upite.

Mjerljiva ušteda naspram konkurencije

GitHub navodi 72,5% uštede troška uz zadržanu kvalitetu. U konzervativnom modu HyDRA postiže 70,8% stope rješavanja zadataka uz 3,3 puta manju cijenu od OpenRouter Auto rješenja. Uz to dolaze prompt caching, koji ponovno koristi stanje modela za ponavljajuće prefikse i smanjuje redundantnu obradu, te Tool Search, koji definicije alata dohvaća na zahtjev umjesto da ih sve učitava unaprijed.

Kako se ponaša na drugim jezicima?

Točnost usmjeravanja ostaje unutar 4 postotna boda od engleske baze na 19 jezika i 16 jezičnih skupina, pa višejezični korisnici ne gube na kvaliteti odabira modela. Auto mod aktivira se samo na prirodnim granicama cachea (prvi potez ili nakon kompakcije), čime se čuva učinkovitost predmemorije.