AMD：LogsLop——巨大なログファイルを11%に圧縮し、トークンを78%節約するオープンソースツール
AMDがLogsLopを公開しました。正規化とクラスタリングで巨大なログファイルを要約するオープンソースのPython CLIツールです。73個の実際のログファイルで行数を11%、バイト数を7.5%に削減し、Llama 3.3 70Bと組み合わせるとトークンが78%節約されます。
この記事はAIにより一次情報源から生成されました。
LogsLopとは何か、どのように機能するか
Jaccard類似度——2つの集合の共通部分と和集合の比として定義される重複度量——がLogsLopを動かすアルゴリズムの核心です。AMDの新しいオープンソースツールはこれを使って類似するログ行をグループ化します：まず行内のすべての数値（IPアドレス、PID、タイムスタンプ）を正規化し、次に行間のJaccard類似度を計算して、インクリメンタルにグループへクラスタリングします。
結果として、LLMは数千行のほぼ同一のレコードの代わりに、各グループの代表行1件を受け取ります。
実際のデータでどのような結果を得られるか
合計256,000行の73個の実際のログファイルのデータセットで、LogsLopはコンテンツを**元の行数の11%と元のバイト数の7.5%**に削減します。比較として、ログの単純な切り捨て（最初のN行）はファイルの中間と末尾の重要な情報を失いますが、LogsLopはすべての部分から代表的なサンプルを保持します。
Llama 3.3 70Bとの組み合わせでは、要約されたログは完全なファイルの分析に比べて78%少ないトークンを消費し、57%少ない処理時間を必要とします。
使い方と入手方法
LogsLopは標準のパッケージマネージャーで入手できるPython CLIツールです：pip install logslop。Python 3.7以降が必要で、ソースコードはamd/logslopの識別子でGitHubに公開されています。このツールは、本番システムの障害診断や異常検知のためにLLMに長いログファイルを渡すDevOpsチームやSREエンジニアを対象としています。
よくある質問
- LogsLopのインストール方法は？
- pip install logslop でインストールします。Python 3.7以降が必要で、ソースコードはGitHubのamd/logslopで公開されています。
- LogsLopはどのようにログファイルを要約しますか？
- 行の数値を正規化し、行間のJaccard類似度を計算して、内容が類似した行をインクリメンタルにグループへクラスタリングします。
📬 AIニュースをあなたの受信箱へ
毎日のダイジェストを自分仕様に——トピック、ソース、頻度を選べます。ワンクリックで解除。