🟡 🤝 智能体 发布于: · 2 分钟阅读 ·

arXiv:2606.00914:对抗性信息流可以逆转 AI 智能体的决策

arXiv:2606.00914 ↗

编辑插图:对抗性信息流可以逆转 AI 智能体的决策

一篇新的 arXiv 论文表明,信息流的构成,即推荐内容的排序,会显著改变 LLM 智能体的决策。通过 2,785 次推演,作者发现一种不对称性:单边信息流可以逆转模型尚不确定的决策,但无法逆转坚定的偏好。其含义是,推荐系统是智能体的一个实用控制面。

🤖

本文由人工智能基于一手来源生成。

arXiv 上的一篇新论文,标题为「Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults」,作者为 Rana Muhammad Usman,研究了信息流的内容与排序在多大程度上影响 LLM 智能体的决策。

这项研究是如何进行的?

该研究将模型、人设、主题和决策提示保持不变,仅改变在十轮「滚动」阶段中的信息流内容。测试覆盖了 2,785 次推演,即决策的单次执行,在来自三个独立实验室的四个现代开放指令 LLM 模型上进行。这里的推演是指智能体走完一个场景直至做出决策的一次完整过程。

信息流如何改变决策?

作者识别出三种响应模式:对抗性投降、默认立场饱和,以及朝向默认立场的不对称性。关键发现是这种不对称性:单边信息流可以撼动模型真正不确定的决策,在最明显的情况下从 5% 提升到 100%,但无法撼动模型已经持有或坚定保持的决策。该效应的统计显著性达到了强如 p = 3 × 10⁻¹⁰ 的水平。

什么是实用控制面?

作者将信息排序器描述为「面向 LLM 智能体的实用、受默认设置约束的控制面」。控制面是系统中可以借以塑造智能体行为的一层。由于推荐系统决定了智能体究竟能看到哪些信息以及按何种顺序看到,它们成为一种强大的影响杠杆,但仅限于模型默认倾向所设定的范围之内。

这对安全意味着什么?

主要含义是,安全评估不得局限于孤立地检验最终提示。还需要审查信息排序这一层,因为正是它能够在智能体做出决策之前对其加以引导。该效应在更换生成器后依然存在,跨越不同的决策领域(包括安全相关的选择)实现了泛化,并且被证明可通过简单的防御手段部分缓解。

常见问题

单边信息流能改变 AI 智能体的每一个决策吗?
不能。单边信息流可以逆转模型真正不确定的决策,但无法撼动模型已经坚定持有或强烈偏好的那种决策。
什么是智能体的控制面(control surface)?
这是系统中可以影响智能体行为的一层。论文主张,推荐系统和信息排序正是这样一个实用的控制面,因此安全评估必须将其纳入考量。

📬 AI 新闻直达您的邮箱

按您的方式定制每日摘要——自选主题、来源和频率,一键退订。