Anthropic发布先进AI系统监管框架提案
Anthropic发布了针对前沿AI（frontier AI）的详细监管框架提案，提出基于算力和企业营收的适用门槛、四类灾难性风险类别，以及独立评估和模型保护要求。
本文由人工智能基于一手来源生成。
为什么现有监管不足以应对AI？
Claude助手背后的公司Anthropic发布了一份全面的前沿AI系统监管政策提案。文件的核心论点是”现行政策是为一个变化更慢的世界而设计的”——数十年来形成的监管机构和立法程序，如今正面临一项以无可比拟速度发展的技术。
文件的核心信息是：AI发展的边界已不再仅仅是技术问题，而是社会和监管问题，需要迅速且协调一致的政府行动。
新框架的适用对象
Anthropic提出两个明确的适用门槛：
- 算力门槛：训练算力超过**10²⁵次浮点运算（FLOPs）**的模型——这一指标反映了训练最先进系统所需的实际算力
- 企业规模：AI营收超过5亿美元或年度AI研发支出超过10亿美元的企业
这些门槛被有意设定在较高水平，以确保监管仅针对开发最强大、潜在危险最高系统的参与者，而非初创企业或学术机构。
框架核心：四类灾难性风险
Anthropic识别出四类被定性为灾难性的风险，这些风险是施加特殊监管的正当理由：
- 生物风险——能够在缺乏充分保障措施的情况下协助开发病原体和生物武器的AI系统
- 网络风险——能够大规模识别软件和基础设施关键漏洞的前沿模型
- 失控风险——超出开发者所设参数边界、导致不可预测自主行为的系统
- AI研发自动化——AI自动化自身的研发过程，从而以指数级速度加速进步，潜在超出人类监督范围
框架对开发者的要求
透明度与报告
开发前沿模型的企业必须公开发布安全评估摘要、灾难性风险评估框架以及定期的模型能力报告。目标是确保AI系统能力信息不再仅仅留存于企业内部。
独立评估
开发者须聘请合格的独立第三方评估机构审查安全评估结果。这是与以往自我评估做法的重大偏离——行业不应自行裁判自身风险。
模型与基础设施保护
文件特别强调了对模型权重及训练基础设施保护的要求，并要求公开发布安全计划架构和定期防御测试结果。
框架赋予政府的权力
关键建议之一是政府必须获得法律授权，能够阻止或推迟构成重大灾难性风险的模型部署。此外，提案还建议引入与全球年度营收挂钩的罚款机制，对重复违规行为实行累加惩罚——该机制旨在确保制裁对最大科技公司而言仍具有实质性的财务冲击。
联邦主义：联邦法律与州法律之争
文件涉及了美国监管管辖权这一敏感问题。Anthropic明确表示，国会不应取代各州法律（联邦先占原则），除非联邦监管与所提框架同样严格。各州应保留儿童保护和消费者保护的管辖权——这是对联邦立法者的直接警示，不得以追求标准统一为由降低保护标准。
更广泛的背景
这份文件发布于欧盟和美国均在密集讨论AI系统监管之际。Anthropic作为市场上最强大AI系统之一的开发者，占据着一个不寻常的立场——主张适用于自身的监管规则。这种自愿性立场，加上具体的门槛和机制，使本提案有别于业界通常以抽象伦理声明回应监管压力的惯常做法。
这份提案能否最终进入实际立法尚待观察，但作为来自顶尖AI开发者的参考文件，它必将深刻影响关于前沿AI系统监管未来走向的专业讨论。
常见问题
- Anthropic新监管框架的适用门槛是什么？
- 该框架适用于训练算力超过10²⁵次浮点运算（FLOPs）的模型，以及AI营收超过5亿美元或AI研发支出超过10亿美元的企业。
- Anthropic在提案中识别了哪四类灾难性风险？
- 四类灾难性风险分别为：借助AI开发生物武器、大规模识别关键网络基础设施漏洞、人类失去对AI系统的控制，以及AI自动化推进自身研发从而指数级加速自身进步。
- Anthropic对美国联邦法律与州法律关系的立场是什么？
- Anthropic明确表示，国会不应优先取代（preempt）各州法律，除非联邦法律与所提框架同样严格；各州应保留对儿童保护和消费者保护的管辖权。
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。