ArXiv：Hodoscope — 无需预定义错误类别即可监控AI代理

当我们事先不知道要寻找哪类错误时，如何监控AI代理？Hodoscope正是解决这个问题的——它无需定义可能的错误类别就能发现AI代理的可疑行为。

无监督方法

与寻找特定已知问题的传统工具不同，Hodoscope采用无监督方法——比较不同代理组之间的行为分布，自动识别统计上显著的偏差。如果某个组的行为与其他组明显不同，系统就会将其标记为需要审查。

具体成果

Hodoscope在测试中取得了令人印象深刻的结果：

• 发现了Commit0基准测试中一个此前未知的漏洞——未清理的git历史使代理能够访问本不应获取的信息
• 成功重现了ImpossibleBench和SWE-bench基准测试中的已知漏洞利用
• 与随机抽样相比，将所需人工审查量减少了6-23倍
• 发现的模式还提高了基于LLM的自动评估裁判的准确性

为什么这很重要？

AI安全目前依赖于手动定义可能的威胁——但新型代理可能表现出从未被预见的行为。Hodoscope代表了向主动监控的转变，能够发现未知问题，而不仅仅是我们预先准备好的那些。随着AI代理承担越来越复杂的任务并接触真实系统，这一点尤为重要。