arXiv:2605.15514: RoPE在长上下文中无法区分位置或词元——基本限制的理论证明
arXiv论文2605.15514从数学上证明:旋转位置编码(RoPE)——几乎所有现代大型语言模型(包括Llama、Mistral、Qwen和GPT-NeoX)使用的位置机制——在长上下文中会失去区分位置和词元的能力。作者得出结论:需要从根本上创新架构机制。
17 条新闻 — 🔴 3 重要 , 🟡 9 值得关注 , 🟢 5 有趣
arXiv论文2605.15514从数学上证明:旋转位置编码(RoPE)——几乎所有现代大型语言模型(包括Llama、Mistral、Qwen和GPT-NeoX)使用的位置机制——在长上下文中会失去区分位置和词元的能力。作者得出结论:需要从根本上创新架构机制。
Anthropic于2026年5月18日更新了Claude API中的网络搜索工具,使其能够返回来自SEC申报文件的更丰富结构化数据——包括10-K、10-Q和8-K文档。此次升级便于构建用于收益分析、尽职调查和引用主要来源研究的金融智能体。
研究人员在38个模型和8900多条引用上证明,LLM的事实召回遵循sigmoid曲线:参数数量与主题在训练数据中出现频率的组合解释了60–94%的方差。幻觉并非随机——它们是可预测的和可测量的。
PyTorch团队发布了实验性ExecuTorch MLX Delegate——一个利用Apple MLX框架和Metal GPU内核在Apple Silicon芯片上实现3至6倍吞吐量提升的后端。支持Llama 3.2、Qwen 3、Phi-4 mini、Whisper和Voxtral实时流式转录。
GitHub宣布Copilot Spaces的REST API正式全面开放,使团队可以通过编程方式创建、配置和删除上下文感知的AI工作区。新接口对管理大量Spaces而无需依赖手动工作流程的组织特别有用。
Anthropic于2026年5月18日收购了Stainless——这家成立于2022年的公司负责构建所有官方Anthropic SDK及MCP服务器工具。Stainless为数百家企业提供SDK生成服务,此次收购旨在改善Claude智能体与外部数据和工具的集成能力。
Anthropic在Claude API平台推出了三项重要更新:MCP Tunnels支持无需暴露互联网即可连接私有网络;自托管沙盒作为Anthropic托管基础设施的替代方案;以及超过100K token的工具输出自动文件溢出功能。
来自NUS和NTU的研究人员在arXiv论文2605.18661中分析了仅需15美元即可自主生成研究论文的系统。核心发现:前沿LLM会捏造结果,且无法可靠评估想法的新颖性。全面路线图划定了可靠辅助与不安全AI自主之间的边界。
arXiv:2605.16233提出FORGE,一种LLM智能体通过种群广播共享经验来构建共享记忆的方法——无需任何模型权重更新。在CybORG CAGE-2网络防御任务上,性能比零基线提升1.7至7.7倍,较弱模型的提升尤为显著。
Anthropic Claude Code CLI v2.1.144引入了/resume对后台会话的支持,显示「Agent completed · 3h 2m 5s」等持续时间;修复了API不可用时的75秒挂起问题;解决了MCP tools/list分页bug导致工具静默丢失的问题;并带来了一系列终端和MCP修复。
GitHub宣布GitHub Copilot CLI远程控制功能正式全面开放(GA)。通过/remote on命令,开发者可以从移动设备、网页、VS Code或JetBrains IDE监控和管理活跃的终端会话——无需中断工作流程。
来自UIUC和NVIDIA的41位研究人员认为,代码不仅仅是LLM的输出,而是代理工具——将推理、行动和验证统一在一个构建可靠AI系统的框架中的操作底层。
arXiv:2605.16238提出一个结合LLM与树搜索算法的自主系统,用于预测季节性流行病。在2025-26季节的实时预测中,该系统自主构建了流感、COVID-19和RSV模型,持续达到或超越CDC黄金标准的人工精选集成模型。
arXiv:2605.16090提出CrossMPI——一种仅通过对图像像素进行不可见扰动即可向视觉语言模型注入恶意指令的攻击方法,无需任何文本。研究人员发现,多模态集成的关键层位于模型中间位置,而非此前假设的末端。该攻击平均成功率(ASR)达66.36%,比所有已知基线方法高出40.91个百分点。
CISPA Helmholtz中心和Google的研究人员数学上证明了数据/指令分离——当前防御提示注入攻击的主流方法——无法防止上下文操控。结合基于Contextual Integrity的新理论框架,他们提出了AI代理防护设计的根本不同的方法。