AMD：LogsLop——开源工具将巨型日志文件压缩至11%，节省78%的令牌
AMD发布了LogsLop，这是一款开源Python CLI工具，通过归一化和聚类来压缩巨型日志文件。在73个真实日志文件上，行数压缩至11%，字节压缩至7.5%，配合Llama 3.3 70B使用时节省78%的令牌。
🤖
本文由人工智能基于一手来源生成。
LogsLop是什么，如何工作？
Jaccard相似度——定义为两个集合交集与并集之比的重叠度量——是驱动LogsLop的算法核心。AMD这款新的开源工具利用它对相似日志行进行分组：首先归一化行中的所有数字（IP地址、PID、时间戳），然后计算行间的Jaccard相似度，并将其增量聚类为相似组。
结果：LLM收到的不再是成千上万行几乎相同的记录，而是每组一行具有代表性的记录。
在真实数据上的表现如何？
在包含256,000行的73个真实日志文件数据集上，LogsLop将内容压缩至原始行数的11%和原始字节数的7.5%。相比之下，简单截断日志（取前N行）会丢失文件中间和末尾的关键信息——LogsLop则从所有部分保留了代表性样本。
配合Llama 3.3 70B模型使用时，压缩后的日志消耗78%更少的令牌，所需处理时间减少57%，而非对完整文件进行分析。
如何使用以及谁可以下载？
LogsLop是一款可通过标准包管理器获取的Python CLI工具：pip install logslop。需要Python 3.7或更高版本，源代码已以amd/logslop标识发布在GitHub上。该工具面向DevOps团队和SRE工程师——他们需要将长日志文件交给LLM进行生产系统故障诊断或异常检测。
常见问题
- 如何安装LogsLop？
- 通过pip install logslop安装，需要Python 3.7或更高版本，源代码以amd/logslop发布在GitHub上。
- LogsLop如何压缩日志文件？
- 对行中的数字进行归一化，计算行与行之间的Jaccard相似度，并将其增量聚类为内容相似的组。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。