AMD: LogsLop — open-source alat sažima goleme log fajlove na 11% i štedi 78% tokena
AMD je objavio LogsLop, open-source Python CLI alat koji sažima goleme log fajlove normalizacijom i klasteriranjem. Na 73 stvarna log fajla smanjuje broj linija na 11% i bajte na 7,5%, a uz Llama 3.3 70B troši 78% manje tokena.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
Što je LogsLop i kako funkcionira?
Jaccard sličnost — mjera preklapanja dvaju skupova definirana kao omjer presjeka i unije — srž je algoritma koji pokreće LogsLop. AMD-ov novi open-source alat koristi je za grupiranje sličnih log redaka: najprije normalizira sve brojeve u redovima (IP adrese, PID-ovi, vremenski žigovi), zatim računa Jaccard sličnost između redaka i inkrementalno ih klasterira u grupe.
Rezultat: umjesto tisuća gotovo identičnih redaka, LLM prima jedan reprezentativni red po grupi.
Kakve rezultate postiže na stvarnim podacima?
Na skupu od 73 stvarna log fajla s ukupno 256.000 linija LogsLop smanjuje sadržaj na 11% originalnog broja linija i 7,5% originalnog broja bajtova. Usporedbe radi, naivno rezanje loga (prvih N redaka) gubi kritične informacije iz sredine i kraja fajla — LogsLop zadržava reprezentativne primjere iz svih dijelova.
Uz model Llama 3.3 70B, sažeti log troši 78% manje tokena i zahtijeva 57% manje procesnog vremena nego analiza punog fajla.
Kako se koristi i tko ga može preuzeti?
LogsLop je Python CLI alat dostupan putem standardnog upravitelja paketa: pip install logslop. Zahtijeva Python 3.7 ili noviji, a izvorni kod objavljen je pod oznakom amd/logslop na GitHubu. Alat je namijenjen DevOps timovima i SRE inženjerima koji LLM-ovima predaju dugačke log fajlove za dijagnozu grešaka ili anomalija u produkcijskim sustavima.
Česta pitanja
- Kako se instalira LogsLop?
- Instalira se s pip install logslop; zahtijeva Python 3.7 ili noviji, a izvorni kod dostupan je na GitHubu pod amd/logslop.
- Kako LogsLop sažima log fajlove?
- Normalizira brojeve u redovima, izračunava Jaccard sličnost između redova i inkrementalno ih klasterira u grupe sličnog sadržaja.
📬 AI vijesti u tvoj inbox
Dnevni digest po tvojoj mjeri — biraš teme, izvore i ritam. Odjava jednim klikom.
Povezane vijesti
CNCF: je li Kubernetes Pod prava jedinica za AI agente?
arXiv:2607.09424: Soofi S — suvereni open-source model za njemački i engleski treniran na Telekomovom cloudu
PyTorch: 'besplatna normalizacija' fuzira Layer Norm u GEMM i attention kernele — Meta cilja niži trošak treniranja velikih modela