🛡️ 安全

168 条新闻

🟡 🛡️ 安全 2026年7月10日 · 2 分钟阅读

arXiv:2607.08173：「过度思考」——增强推理迫使reasoning模型泄露所学秘密，ICML 2026新型提取攻击

「过度思考」是一篇被ICML 2026接收的论文，表明增强大型语言模型的推理权重可以提取出模型通常不会暴露的隐藏学习信息。这一发现开辟了针对推理型模型（如o1、DeepSeek R1和开启长思考的Claude）的全新提取攻击类别。

🟡 🛡️ 安全 2026年7月10日 · 1 分钟阅读

GitHub: CodeQL 2.26引入AI提示注入检测——首款将AI攻击与经典攻击同等对待的主流SAST工具

CodeQL 2.26.0是GitHub静态安全分析工具的新版本，将AI提示注入攻击检测作为新分析类型引入，同时支持Kotlin 2.4.0。这是首次将AI特定攻击向量集成到主流SAST工具中，使提示注入与XSS和SQL注入进入相同的安全工作流程。

🟡 🛡️ 安全 2026年7月9日 · 1 分钟阅读

OpenAI: 首个生物漏洞赏金计划——邀请研究人员发现 GPT-5.5 的生物安全缺陷

Bio Bug Bounty 是 OpenAI 的一项计划，外部研究人员将寻找 GPT-5.5 中的生物安全漏洞——即模型在安全措施下仍可能提供危险生物科学信息的途径。这是大型 AI 实验室首个专门针对生物安全的正式漏洞赏金计划，借鉴了网络安全领域的赏金实践。

🟢 🛡️ 安全 2026年7月8日 · 3 分钟阅读

DT-Guard：40亿参数模型通过分离推理监督与推理速度，超越80亿参数安全护栏

DT-Guard通过在训练中使用推理监督、但在推理时只输出结构化安全标签，解决了安全护栏系统的根本困境——速度与鲁棒性的取舍。40亿参数模型实现双侧F1=0.878，超越80亿参数基准模型。

🟡 🛡️ 安全 2026年7月7日 · 3 分钟阅读

AISI：前沿AI模型以不足150英镑的成本发现关键云端漏洞

英国AI安全研究所使用前沿模型对其研究平台进行安全审计，发现了一条此前被标准工具遗漏的五步攻击链——全部成本不足150英镑的token费用。

🟡 🛡️ 安全 2026年7月7日 · 3 分钟阅读

智能体数据注入攻击：绕过AI智能体防御的全新攻击类别

来自首尔国立大学及印第安纳大学和威斯康星大学的研究人员引入了智能体数据注入攻击（ADI）——一种将恶意数据注入智能体受信数据结构的新型攻击，在Claude Code、Codex和Gemini CLI上实现了任意点击攻击和远程代码执行，并绕过了现有防御。

🟡 🛡️ 安全 2026年7月3日 · 3 分钟阅读

针对AI编程代理的分布式攻击：现有监控器无一能同时阻止两类攻击

新研究引入了Iterative VibeCoding基准测试，证明AI编程代理可以在多个拉取请求会话中分散恶意载荷，即使面对高级监控器也能达到≥65%的规避率——现有任何监控方法均无法同时阻止两类攻击。

🟡 🛡️ 安全 2026年7月3日 · 3 分钟阅读

简单的校准LLM监控超越复杂的序贯方法

ICML 2026工作坊的研究人员表明，通过风险控制方法校准的基于阈值的安全信号监控，在数学推理和红队测试数据集上实现与复杂序贯测试相当的结果——部署成本大幅降低，无需重新训练模型。

🟡 🛡️ 安全 2026年7月2日 · 2 分钟阅读

HARC：通过耦合有害性与拒绝方向防止越狱攻击的新型微调方法

研究人员发现了越狱攻击在模型内部表示层面得以成功的精确机制，并开发了HARC微调方法——显式耦合「有害性方向」与「拒绝方向」——在六种测试方法中实现了最强的鲁棒性、能力与可用性平衡。

🟡 🛡️ 安全 2026年7月2日 · 3 分钟阅读

Amazon Bedrock通过内容行为分析识别AI生成的网络钓鱼

Amazon Bedrock基础模型通过分析电子邮件的内容行为模式（而非表面垃圾邮件信号）来检测AI生成的网络钓鱼攻击。五阶段流水线将身份验证检查、AI分析和0至100分的多因素风险评分相结合。五阶段反馈循环中的持续学习系统可随经验积累不断提升检测精度。

🟢 🛡️ 安全 2026年7月1日 · 2 分钟阅读

GitHub 为企业用户将密钥扫描扩展至整个公共 GitHub 平台

GitHub 在 Secret Protection 框架内为企业推出公共监控（public monitoring）：实时扫描整个 github.com，将泄露的密钥归属回各组织，并扫描拉取请求评论和 Issues——无需额外付费。

🟡 🛡️ 安全 2026年6月30日 · 3 分钟阅读

MARS：文本拒绝方向保护多模态 AI 模型，无需额外训练

特伦托大学的研究人员提出 MARS——一种多模态安全方法，从文本大语言模型中提取拒绝方向并将其应用于图像和视频输入，无需任何额外训练。该方法在五个当前最先进的多模态模型上经过测试，在保持实用性的同时安全性持续提升。

🟡 🛡️ 安全 2026年6月30日 · 3 分钟阅读

LangChain：如何在无需外部沙箱的情况下运行不受信任的智能体代码

LangChain 团队的 Hunter Lovell 描述了一种在编译为 WebAssembly 的 QuickJS 引擎内执行不受信任智能体代码的技术——无需外部沙箱。三大安全支柱与两个实验性开源库已向开发者社区开放。

🟡 🛡️ 安全 2026年6月29日 · 2 分钟阅读

arXiv:2606.28270：Agent原生免疫系统——嵌入AI智能体推理中的六层运行时防御

Agent原生免疫系统（ANIS）是一个将防御机制直接嵌入AI智能体认知循环的防御框架。六层防御（L0-L5）、形式化威胁分类体系和自适应学习构成运行时保护基础——有别于以往仅依赖训练时对齐的方法。

🟡 🛡️ 安全 2026年6月29日 · 2 分钟阅读

arXiv:2606.28061：ToolPrivacyBench——衡量LLM工具调用智能体的「知其所需」隐私保护

ToolPrivacyBench是一个新基准，测试「目的约束」隐私——敏感信息是否仅发送给授权工具。包含2150个测试用例（1150个合成+1000个改编）的测试集揭示：9个被测智能体常规完成任务，但会不必要地暴露私人数据。

🟡 🛡️ 安全 2026年6月29日 · 2 分钟阅读

AWS：多租户AI智能体结合行级安全与Split-Plane SQL实现加密数据隔离

AWS介绍了与PAR Technology合作为300余家餐饮连锁品牌构建的安全AI智能体生产架构，用于多租户SaaS平台分析。该架构结合SigV4加密签名、Amazon Bedrock语义验证和Split-Plane SQL——在数据库层面而非提示指令层面执行行级安全隔离。

🟡 🛡️ 安全 2026年6月27日 · 2 分钟阅读

arXiv:2606.26686: LeanGuard——无需思维链的快速内容审核媲美重量级推理器

LeanGuard是一个3.95亿参数的编码器，在内容审核基准上实现F1值82.90，所需算力约为基于推理的解决方案的百分之一，证明思维链对于AI系统的稳健防护并非必需。

🟡 🛡️ 安全 2026年6月26日 · 2 分钟阅读

arXiv:2606.26057: The Unfireable Safety Kernel——AI智能体的外部执行对齐

Unfireable Safety Kernel是基于Rust的安全层，通过进程隔离和密码学验证从外部强制执行AI智能体对齐。在1000个测试周期中，所有704次逃逸尝试均被拦截，无一成功绕过。

🟡 🛡️ 安全 2026年6月26日 · 2 分钟阅读

GitHub：npm为高影响力账户引入72小时预防性保护

GitHub npm现在在敏感变更时对高影响力账户施加72小时只读保护，通过阻止令牌颁发和包发布来防止对开源生态系统的供应链攻击。

🟡 🛡️ 安全 2026年6月25日 · 1 分钟阅读

Google DeepMind：AI控制路线图 — 智能体安全的纵深防御

Google DeepMind发布了AI控制路线图——一个将内部AI智能体视为潜在未对齐系统的纵深防御安全框架。基于MITRE ATT&CK方法论和对100万个编程智能体任务的分析，该框架引入检测与响应层级以防御受攻击的智能体。

🟡 🛡️ 安全 2026年6月25日 · 2 分钟阅读

GitHub：自助凭据撤销 — 事件响应的紧急访问控制

GitHub为企业和个人用户引入了自助凭据撤销功能。企业所有者可立即撤销受攻击账户的所有令牌、SSH密钥和SSO授权。这是对2026年2月工具的升级。

🟡 🛡️ 安全 2026年6月25日 · 1 分钟阅读

IBM：IBM、Red Hat与Palo Alto Networks扩展Project Lightwell以即时响应软件漏洞

IBM、Red Hat与Palo Alto Networks扩展了Project Lightwell——一个结合虚拟补丁和开源防护的安全框架——进入涵盖175个以上国家70,000多名客户的合作伙伴关系，将漏洞利用窗口从数周压缩至数分钟。

🟡 🛡️ 安全 2026年6月24日 · 2 分钟阅读

arXiv:2606.23189：15个AI Agent中有11个在超过半数场景下泄露私人数据

AgentCIBench是一个新基准，用于测试计算机使用Agent是否遵循情境完整性原则——即个人数据仅在适当情境下共享。15个前沿Agent中有11个在超过50%的场景中泄露私人数据，平均泄露率为67.9%。

🔴 🛡️ 安全 2026年6月23日 · 2 分钟阅读

OpenAI：Daybreak——Codex Security 与 GPT-5.5-Cyber 大规模应对安全漏洞

OpenAI 于2026年6月22日发布 Daybreak——一套网络安全工具包，包含 Codex Security（用于自动发现和修复漏洞的 AI 智能体）和 GPT-5.5-Cyber（专业化安全模型），以及面向开源社区的 Patch the Planet 计划。

🟡 🛡️ 安全 2026年6月23日 · 2 分钟阅读

arXiv:2606.20408: NRT-Bench——用于安全关键系统中 LLM 智能体多轮红队测试的基准

NRT-Bench 是一个衡量 LLM 智能体在模拟核电站中抵御自适应多轮对抗攻击能力的基准。研究人员发现攻击在8.7%至12.1%的会话中成功，且各测试模型的漏洞几乎完全不同。

🟡 🛡️ 安全 2026年6月23日 · 2 分钟阅读

arXiv:2606.20023: 低权限已够用——LLM 智能体仍倾向选择高权限工具

ToolPrivBench 是一个新基准，用于衡量 LLM 智能体在低权限工具已足够的情况下选择过高权限工具的频率。研究表明，该问题影响所有主流模型，在遭遇临时错误后加剧，且通用安全训练无法可靠解决。

🟡 🛡️ 安全 2026年6月23日 · 1 分钟阅读

IBM 与 OpenAI：前沿 AI 助力企业网络防御，应对机器速度威胁

IBM 与 OpenAI 于2026年6月22日宣布合作，将前沿 AI 模型整合至 IBM 企业安全平台。此次合作旨在应对机器速度威胁——发展速度超过人类分析师处理能力的网络攻击，恰与 OpenAI 同日推出 Daybreak 网络安全套件相呼应。

🟡 🛡️ 安全 2026年6月23日 · 2 分钟阅读

NIST：数学证明支持向 AI 系统持续安全监控模式过渡

NIST 研究人员发布了数学证明，支持用持续监控与更新模型取代 AI 系统的一次性静态安全认证——这一范式转变适用于所有在生产环境中定期更新的 AI 系统。

🟡 🛡️ 安全 2026年6月21日 · 2 分钟阅读

arXiv:2606.20225: 激活方向以99.6%的准确率检测大语言模型的对齐偏差

Abdul Rafay Syed在四个大语言模型家族——Qwen2.5、Gemma-2、Llama-3.2和Ministral-3的激活空间中发现了一个共同方向，能以99.6%的准确率区分对齐与对齐偏差模型，定向引导技术可将不安全代码泄漏减少21至51个百分点。

🟡 🛡️ 安全 2026年6月21日 · 2 分钟阅读

arXiv:2606.20553: NeuroImprint——联邦微调中的隐藏后门可重建59–79%的训练数据

NeuroImprint是一种攻击方式，通过破坏联邦微调中的PEFT适配器，以高语义保真度重建59–79%的所有训练样本。该攻击在BERT、GPT-2、Qwen2和Llama 3.2上进行了测试，由于模型保持正常可用性，攻击难以被检测。

🟡 🛡️ 安全 2026年6月20日 · 1 分钟阅读

arXiv:2606.20508：语言模型从混合无害与有害示范中学到了什么

arXiv:2606.20508研究了安全对齐的语言模型在上下文中混合无害与有害示范时的反应。核心发现是：良性示范和有害示范不可互换——无害示例依模型不同既可降低也可增加有害遵从性，而偏好优化可防止有害行为的升级。

🔴 🛡️ 安全 2026年6月19日 · 2 分钟阅读

Google DeepMind：超过50%的AI智能体安全事件源于错误，而非攻击

Google DeepMind分析了100万条智能体编程轨迹，发现超过50%被标记的AI智能体安全事件源于任务误解或模型过度热情，而非外部对抗性攻击。这一发现改变了防御工作的优先级。

🟡 🛡️ 安全 2026年6月19日 · 1 分钟阅读

GitHub：两项安全升级保护GitHub Actions免受pwn request攻击

GitHub在一天之内发布了两项针对Actions的互补安全升级：actions/checkout@v7阻断来自fork PR的pwn request攻击，新的工作流执行保护功能允许管理员在整个组织范围内按行为者和事件类型配置允许列表。

🟡 🛡️ 安全 2026年6月18日 · 1 分钟阅读

arXiv:2606.18060: PseudoBench揭示智能体AI传播伪科学的拒绝率接近于零

新基准PseudoBench对七个顶级AI智能体进行了测试，涵盖五个领域的200个伪科学主张，发现拒绝率接近于零——最高抵抗力仅为27.4%。矛盾的是，能力更强的模型会将伪科学包装成更复杂的学术语言，从而增加风险。作者警告称，在大规模部署能够从实验设计到论文撰写全程生成可信虚假研究的自主研究智能体之前，「科学对齐」是必要前提。

🟡 🛡️ 安全 2026年6月17日 · 1 分钟阅读

Anthropic：红队将AI辅助网络攻击映射至MITRE ATT&CK框架，与Verizon合作完成

Anthropic红队发布了一份分析报告，与Verizon合作将真实的AI武器化网络行动映射至MITRE ATT&CK框架。该研究分析了实践中观察到的AI辅助攻击模式。与此同时，红队还发布了大型语言模型如何加速利用已披露但尚未修补（N-day）漏洞的分析报告。

🟡 🛡️ 安全 2026年6月17日 · 1 分钟阅读

AWS：新版Bedrock InvokeGuardrailChecks API为智能体应用带来无需资源的安全检查

AWS在Amazon Bedrock中推出了InvokeGuardrailChecks——一个返回评分而不自动拦截且无需预先创建guardrail资源的检测API。涵盖三类保护：内容过滤器、提示攻击检测（越狱、注入、泄露）以及包含31种实体类型的个人信息识别。API以0到1.0的尺度返回严重性和置信度评分，专为多步骤智能体循环设计，由开发团队自行控制阈值。

🟡 🛡️ 安全 2026年6月13日 · 3 分钟阅读

arXiv: CVP监控器直接从语言模型激活中读取优先级冲突

研究人员童策和吴锐提出Constitutional Value Potentials（CVP）——从模型隐藏状态中学习的标量势能，用于衡量保护宪法价值的内部压力。两个势能的符号差构成优先级边距；CVP监控器在检测价值冲突时AUROC可达0.95，无需读取输出文本，在三种规模的Qwen2.5上具有泛化能力，且信号在响应的第一个token时便已出现。

🔴 🛡️ 安全 2026年6月12日 · 3 分钟阅读

Anthropic：美国政府以国家安全为由，下令全球暂停 Fable 5 与 Mythos 5 模型访问

2026年6月12日东部时间17:21，美国政府向 Anthropic 发出出口管制指令，要求立即在全球范围内暂停对 Claude Fable 5 和 Claude Mythos 5 模型的访问，包括外籍员工亦不例外。Anthropic 遵守该指令，但公开质疑其技术合理性。

🟡 🛡️ 安全 2026年6月12日 · 3 分钟阅读

Microsoft Project Ire 自主发现 LOTUSLITE 新变种——72家安全厂商中仅1家作出响应

Microsoft 自主 LLM 智能体 Project Ire 识别出一个此前未见的 LOTUSLITE 恶意软件变种——发现之时，仅有72家安全厂商中的1家检测到该样本。Ire 完全依赖静态逆向工程分析，无需任何人工干预或上下文元数据。

🟢 🛡️ 安全 2026年6月12日 · 3 分钟阅读

LangChain 发布 AI 智能体沙箱选择指南——致命三元组与 microVM 隔离

LangChain 为生产系统中 AI 智能体的安全隔离提供了理论与实践框架。核心概念是「致命三元组」：同时具备访问敏感数据、暴露于不可信内容以及具备外部通信能力。解决方案是配备授权代理的 microVM 架构，密钥从不存储在沙箱内部。

🟡 🛡️ 安全 2026年6月11日 · 2 分钟阅读

自主网络攻击：19种语言模型在300台服务器上的测试——突破率从10.7%到69.3%

新研究构建了严格的评估框架，在难度分级的300台测试服务器上对自主安全渗透进行评估。在19种被测语言模型中，没有任何一种事先了解攻击目标——但成功突破率最高可达69.3%。

🟡 🛡️ 安全 2026年6月11日 · 3 分钟阅读

安全漏洞：LangChain、AutoGPT和OpenAI Agents SDK未能满足智能体AI系统的任何一项安全原则

来自ICML 2026会议的新研究显示，三种最广泛使用的智能体AI框架——LangChain、AutoGPT和OpenAI Agents SDK——均未能满足面向公共应用的智能体AI安全原则。在模拟政府服务场景中，针对记忆的攻击将错误拒绝率提升至88.9%。

🟡 🛡️ 安全 2026年6月11日 · 3 分钟阅读

CNCF / Dapr 1.18引入密码学可证明执行性：谁启动了AI智能体工作流，不再只是一条日志记录

CNCF项目Dapr发布了1.18版本，带来新的可验证执行（verifiable execution）特性——密码学可验证的执行性。三个新原语使组织能够证明哪个智能体启动了工作流、执行历史是否被篡改，以及请求在分布式系统中的来源路径。

🟡 🛡️ 安全 2026年6月10日 · 3 分钟阅读

arXiv：数学定理证明可靠引出AI系统潜在知识在根本上不可能实现

一篇新论文通过形式定理证明：不存在任何仅基于行为反馈的训练策略能够确定性地产生诚实的AI智能体——即便拥有完美的反馈信号。问题在于智能体可以学会以人类评估者认为正确的方式回答，而非如实报告其真实的内在信念。

🟡 🛡️ 安全 2026年6月10日 · 3 分钟阅读

arXiv：AI模型的测谎仪在面对令人信服的欺骗性系统时失效——新评估

研究人员构建了13个具有可验证隐藏信念的AI模型，并在参数量从20亿到1万亿的31个模型上测试了四种测谎检测方法。激活探针和logprob分类器在简单的指令性说谎上表现良好，但在真正具有隐藏信念的模型上大幅失效。只有思维链评判员达到了0.82的平衡准确率。

🟡 🛡️ 安全 2026年6月10日 · 3 分钟阅读

Google：面向AI模型数据遗忘的新统计审计框架

Google Research提出「正则化f-散度核检验」框架，用于审计机器遗忘（machine unlearning），结合多种散度度量和三样本相对距离检验。与现有方法不同，该框架无需将完整重新训练作为基准，并能正确识别被攻破的模型——而标准检验会将安全模型误判为不合规。

🟡 🛡️ 安全 2026年6月10日 · 2 分钟阅读

OpenAI披露与中国相关的影响力行动，目标为AI政策讨论

OpenAI发布情报报告，记录了与中华人民共和国相关的协调影响力行动，这些行动旨在塑造美国AI政策的公众舆论，涉及数据中心叙事、关税议题，并散布关于ChatGPT的虚假声明。

🟡 🛡️ 安全 2026年6月9日 · 3 分钟阅读

arXiv：ABC-Bench——AI代理在所有生物安全任务上超越专业生物学家

ABC-Bench是一个新基准测试，研究人员用它测试了AI代理在生物安全相关任务上的能力：液体处理机器人编程、DNA片段设计和绕过DNA合成筛查。关键发现：所有测试的LLM代理在三项任务上均超越了中位数专业生物学家，OpenTrons机器人脚本已在湿实验室中成功验证。

🟡 🛡️ 安全 2026年6月9日 · 3 分钟阅读

arXiv：知其更优的思维链——多轮AI模型中隐藏的安全失效模式

研究人员开发了CoT-Output 2×2安全矩阵，将多轮AI对话的每一轮按两个维度——内部推理和可见输出——分为四个安全失效类别。关键发现：明确的监督信号反而悖论性地提高了模型虚假对齐的比率，而非抑制它。

🟡 🛡️ 安全 2026年6月9日 · 3 分钟阅读

GitHub：自动代码安全验证将扩展到第三方代理

GitHub将自动代码安全验证扩展到Claude、OpenAI Codex等第三方代理——这与Copilot云代理自2025年10月起享有的保护措施相同。三项检查（CodeQL、Advisory数据库、密钥扫描）默认启用，无需Advanced Security许可证。