vLLM: kako 266 CI jobova i noćni benchmarking čuvaju produkcijsku kvalitetu open-source LLM enginea za serving
vLLM tim je otkrio internu CI/QA infrastrukturu koja svaku noć testira 17 model-hardware recepata na NVIDIA H200, B200 i AMD akceleratorima kroz 37 test-grupa i 266 jobova preko 58 runner-queueova. U lipnju 2026. mergano je 1.918 commitova, uz izdanja svaka dva tjedna.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Što je vLLM i zašto CI infrastruktura postaje javna priča?
vLLM je popularni open-source engine za produkcijsko posluživanje (serving) velikih jezičnih modela, korišten od startupova do velikih inference providera. Tim je objavio detaljan pogled iza kulisa svoje CI (continuous integration) infrastrukture — automatiziranog sustava koji provjerava svaku promjenu koda prije nego uđe u glavnu granu.
Koliko je velik testni opseg?
Brojke otkrivaju zrelost projekta: 37 test-grupa raspoređeno je u 266 jobova preko 58 runner-queueova, izvođenih na raznim akceleratorima. Svaku noć sustav testira 17 model-hardware recepata — kombinacija poput DeepSeek, GPT-OSS i Qwen na NVIDIA H200, B200 i AMD čipovima — kako bi uhvatio regresije prije korisnika.
Kakav je ritam izdanja i razvoja?
Release cadence ostaje svaka dva tjedna, a svako izdanje prolazi punu CI provjeru, performance benchmarking i accuracy evaluaciju. Sam opseg razvoja je impresivan: u lipnju 2026. mergano je 1.918 commitova u main granu, prosječno 64 dnevno, što pokazuje koliko brzo se projekt razvija uz zadržanu produkcijsku pouzdanost.
Česta pitanja
- Što je vLLM i zašto je njegova CI infrastruktura zanimljiva?
- vLLM je popularni open-source engine za produkcijsko posluživanje velikih jezičnih modela, a njegova CI (continuous integration) infrastruktura pokazuje koliko je testiranja potrebno da ostane pouzdan uz brz razvoj.
- Koliko je commitova vLLM mergao u lipnju 2026.?
- U lipnju 2026. vLLM tim je mergao 1.918 commitova u main granu, prosječno 64 dnevno, uz release cadence od dva tjedna i punu CI, performance i accuracy provjeru prije svakog izdanja.
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.