AMD: LogsLop — Open-Source-Tool komprimiert große Log-Dateien auf 11 % und spart 78 % der Token
AMD hat LogsLop veröffentlicht, ein Open-Source-Python-CLI-Tool, das große Log-Dateien durch Normalisierung und Clustering komprimiert. Bei 73 echten Log-Dateien reduziert es die Zeilenanzahl auf 11 % und die Bytes auf 7,5 %, und mit Llama 3.3 70B werden 78 % weniger Token benötigt.
Dieser Artikel wurde mithilfe von künstlicher Intelligenz aus Primärquellen erstellt.
Was ist LogsLop und wie funktioniert es?
Jaccard-Ähnlichkeit — ein Maß für die Überschneidung zweier Mengen, definiert als Verhältnis von Schnittmenge zu Vereinigung — ist der Kern des Algorithmus, der LogsLop antreibt. AMDs neues Open-Source-Tool nutzt sie zum Gruppieren ähnlicher Log-Zeilen: Zunächst normalisiert es alle Zahlen in Zeilen (IP-Adressen, PIDs, Zeitstempel), berechnet dann die Jaccard-Ähnlichkeit zwischen Zeilen und gruppiert sie inkrementell in Cluster.
Das Ergebnis: Statt Tausender nahezu identischer Zeilen erhält das LLM eine repräsentative Zeile pro Gruppe.
Welche Ergebnisse erzielt es bei echten Daten?
Bei einem Datensatz von 73 echten Log-Dateien mit insgesamt 256.000 Zeilen reduziert LogsLop den Inhalt auf 11 % der ursprünglichen Zeilenanzahl und 7,5 % der ursprünglichen Byte-Anzahl. Zum Vergleich: Naives Kürzen von Logs (erste N Zeilen) verliert kritische Informationen aus der Mitte und dem Ende der Datei — LogsLop behält repräsentative Stichproben aus allen Teilen.
Mit dem Modell Llama 3.3 70B benötigt das komprimierte Log 78 % weniger Token und erfordert 57 % weniger Verarbeitungszeit als die Analyse der vollständigen Datei.
Wie wird es genutzt und wo ist es erhältlich?
LogsLop ist ein Python-CLI-Tool, das über den Standardpaketmanager verfügbar ist: pip install logslop. Es erfordert Python 3.7 oder neuer, und der Quellcode ist unter amd/logslop auf GitHub veröffentlicht. Das Tool richtet sich an DevOps-Teams und SRE-Engineers, die langen Log-Dateien an LLMs zur Diagnose von Fehlern oder Anomalien in Produktionssystemen übergeben.
Häufig gestellte Fragen
- Wie installiert man LogsLop?
- Installation mit pip install logslop; erfordert Python 3.7 oder neuer, der Quellcode ist auf GitHub unter amd/logslop verfügbar.
- Wie komprimiert LogsLop Log-Dateien?
- Es normalisiert Zahlen in Zeilen, berechnet Jaccard-Ähnlichkeit zwischen Zeilen und gruppiert sie inkrementell in Cluster ähnlichen Inhalts.
📬 KI-News in dein Postfach
Ein täglicher Digest nach deinen Regeln — Themen, Quellen und Rhythmus wählbar. Abmeldung mit einem Klick.
Verwandte Nachrichten
CNCF: Ist der Kubernetes-Pod die richtige Einheit für KI-Agenten?
arXiv:2607.09424: Soofi S — Souveränes Open-Source-Modell für Deutsch und Englisch, trainiert auf Telekom-Cloud
PyTorch: „kostenlose Normalisierung” fusioniert Layer Norm in GEMM- und Attention-Kernel — Meta zielt auf niedrigere Trainingskosten großer Modelle