英国AISI:AI智能体评估必须考虑计算预算
英国AI安全研究所的研究表明,采用固定令牌预算的AI智能体评估方法会系统性地低估前沿模型的真实能力。将预算从100万增至1000万令牌,可将软件工程任务的表现提升约25%,数学测试提升约22%。AISI呼吁监管机构从基准分数转向能力曲线,以反映可变计算预算的影响。
11 条新闻 — 🟡 7 值得关注 , 🟢 4 有趣
该论文被ICML 2026接收,通过感知、交互、推理和内化四个层次系统测试了工具使用LLM智能体在环境偏移下的表现。研究发现:SFT和RL训练在面对小幅分布偏移时均表现出显著的性能退化,受控基准上的准确率无法预测真实的鲁棒性。论文提出PAFT(扰动增强微调)作为缓解方案。
SEA(Self-Evolving Agents with Anytime-Valid Certificates)架构允许智能体在保留形式化学习理论保证的同时更新自身参数。五种验证机制和可审计证书实时批准或阻止每次自我修改,在SWE-bench Verified测试中,强基础模型上额外解决了4至5个实例。
GitHub于2026年7月2日启动了Copilot智能体会话流传输功能的公开预览,企业组织由此可实时查看智能体在所有Copilot客户端中执行的提示词、响应及工具调用。
斯坦福大学研究人员开发了AutoMem——一个具有两个优化循环的系统,能够自动学习如何组织和使用记忆,无需人工标注,在基线方法上取得了2至4倍的性能提升。
AWS SageMaker AI发布的多轮强化学习最佳实践指南将奖励函数质量和评估独立性置于算法选择之上。密集奖励可防止方差崩溃,而奖励欺骗则发生在智能体只优化指标而未能真正解决任务时。在SOP-Bench基准测试中,经过正确配置的训练将任务成功率提升了13%,字段精度提升了约16%。
GitHub在同一天发布了两项针对Copilot的企业更新:GitHub Actions中的CLI不再需要个人访问令牌,而成本中心现在支持AI积分池,并配有自动上限以保护各团队之间的资源。
LangChain描述了编码智能体如何因工具碎片化和「令牌至上」心态而产生失控成本,并提出了通过LangSmith平台实现的四阶段解决方案,涵盖可见性、标准化、优化和治理四个方面。
研究人员发现了越狱攻击在模型内部表示层面得以成功的精确机制,并开发了HARC微调方法——显式耦合「有害性方向」与「拒绝方向」——在六种测试方法中实现了最强的鲁棒性、能力与可用性平衡。
Amazon Bedrock基础模型通过分析电子邮件的内容行为模式(而非表面垃圾邮件信号)来检测AI生成的网络钓鱼攻击。五阶段流水线将身份验证检查、AI分析和0至100分的多因素风险评分相结合。五阶段反馈循环中的持续学习系统可随经验积累不断提升检测精度。