Anthropic 的核心立场并不是“反对开放权重”,而是反对用开放或封闭标签替代能力测试:低风险模型可以广泛使用,达到危险能力门槛的模型则应在发布前接受统一评测。对开发者而言,真正要回答的不是站哪一边,而是模型开放了什么、具备什么能力、失控后还能撤回什么。

Anthropic 对开放权重模型到底持什么立场?

Anthropic 的立场文章给出了一个容易被标题争论遮住的答案:它没有主张按类别禁止开放权重模型,也认可这类模型能降低使用成本、扩大开发者和研究者的访问,并在部分场景增强竞争与客户控制权。

但这份认可附带了能力条件。Anthropic 把问题拆成两类:

问题 与开放权重的关系 Anthropic 主张的主要应对
国家或组织训练出更强模型并用于军事、监控或压制 是否公开权重并非关键变量,最危险的模型甚至可能完全秘密训练 芯片与制造设备管制、打击走私和规避
高能力模型被滥用于网络、生物攻击,或出现严重对齐问题 公开权重可能增加风险,因为部署方难以统一监控、更新防护或撤回模型 对达到能力门槛的开放与封闭模型统一进行发布前安全测试
工业规模地从闭源模型提取能力 蒸馏本身是正常技术,争议在于是否大规模、违规地提取能力 用定向法律、商业和平台措施处理,而非禁止所有开放权重模型

因此,把它概括成“Anthropic 支持开源”或“Anthropic 反对开源”都不准确。更接近原意的表述是:按可验证能力和边际风险治理,不按开放标签一刀切。

还要注意,这是一份政策立场,不是已经生效的全球规则。文章没有给出“足够强大”的数值阈值,也没有定义由谁测试、测试失败如何申诉、跨国发布如何执行。开发团队可以借鉴它的风险结构,但不能把它当成现成的合规清单。

开放权重为什么不等于开源 AI?

讨论前必须先把术语校准。“开放权重”通常表示用户能够下载模型参数,在自己的基础设施上运行、量化或微调。它并不自动说明训练数据、数据处理过程、训练代码、评测方法和许可证是否充分开放。

Open Source Initiative 的 Open Source AI Definition 1.0要求的不只是参数可得,还包括使用、研究、修改与分享的自由,以及足够的数据说明、训练与运行代码。由此可以得到一个实用判断:

检查项 只有开放权重 符合完整开源 AI 定义时
下载并本地推理 通常可以 可以
查看训练与数据处理方法 不一定 应提供足够信息
复现或深度修改训练过程 往往受限 应具备所需代码与信息
商业使用与再分发 取决于许可证 需要满足开放条款
判断模型来源与责任边界 仍需模型卡、来源记录和审计 信息通常更完整,但仍需验证

所以,选型表里不要只写一个 open_source: true。至少分开记录 weights_availabletraining_code_availabledata_information_availablelicenseredistribution_allowed。这样才能避免把“能下载”误判成“能合法、可复现地修改和分发”。

争论的真正分歧是收益能否抵消不可撤回性

多家科技公司签署的开放权重与 AI 领导力公开信强调访问、竞争、私有部署、客户控制和外部安全研究的价值,同时也承认权重发布后难以追踪或撤回。Anthropic 同意前半部分,却不接受两个未经验证的必然关系:

  1. 更多人拿到权重,不代表防守方一定比攻击方获益更多。
  2. 权重可见,不代表安全措施一定更容易开发或持续生效。

这不是一道能靠价值口号解决的题。开放权重确实让企业可以在内网运行模型,减少敏感数据发往第三方,并避免服务商突然变更或下线 API;但同一可控性也属于模型持有者,恶意部署者可以删除拒答层、关闭监控并离线运行。

英国 AI Security Institute 的开放权重网络能力评测提供了一组有用但有限的实证:按其方法,当时领先开放权重模型在网络能力上大约落后封闭前沿模型 4 至 7 个月,差距较此前内部评测缩小。报告同时确认了私有部署和低成本等收益,也指出访问控制、封禁、持续分类器和撤回等部署层措施无法在权重扩散后统一执行。

这个结果不能外推到生物、对齐或所有未来模型。评测只覆盖网络领域,样本模型有限,模拟环境也不等于真实攻防。它真正支持的是一种方法论:讨论风险时要指定能力、场景、评测集和限制,而不是把“开放”直接当作安全分数。

更早的美国 NTIA 开放模型权重报告也采取了相似的证据路径:既没有认定现有证据足以支持全面限制,也没有承诺未来模型永远不需要限制,而是建议持续建立能力指标、阈值、审计和响应能力。这与 Anthropic 的“先测能力再决定”有交集,但不等于认可其全部地缘政策判断。

开发团队如何建立开放权重模型发布门禁?

最实用的做法是把一次模型接入拆成五个独立门禁。任何一项失败,都不应被另一项的高分抵消。

第一步:核对制品、来源和许可证

记录模型仓库、精确版本、权重摘要、许可证、模型卡、训练代码与数据说明的可用程度。下载后验证哈希,固定推理运行时和量化配置,保留依赖清单。不要用浮动的 latest 标签,也不要把模型名称当成供应链证明。

如果许可证限制使用领域、用户类型或再分发,它可能适合内部试验,却不适合打包进客户端。开放下载也不代表模型、数据或输出天然没有知识产权和隐私风险。

第二步:用业务能力而不是参数量分级

参数量、榜单排名和“推理模型”等营销标签都不能代替风险评测。应围绕实际业务测试:

  • 模型能否生成可执行的攻击步骤,而不仅是复述知识;
  • 在工具调用、长链规划和多轮诱导下,能力是否明显上升;
  • 是否会泄露上下文、系统提示、凭据或检索数据;
  • 微调、量化或移除拒答后,风险曲线如何变化;
  • 同样的防护是否严重损害合法任务。

评测结果要绑定精确权重和运行配置。换一个量化版本、系统提示、工具集合或推理框架,都可能需要重新建立基线。

第三步:把模型风险与 Agent 权限分开

模型能输出危险文本,不等于它已经拥有危险执行能力;真正的系统风险通常来自模型能力与工具权限的乘积。文件系统、Shell、浏览器、数据库、云凭据和网络出口都应按最小权限隔离,高影响动作加入确定性策略和人工确认。

如果模型通过 MCP 或其他工具协议连接真实系统,可以沿用这份MCP Server 安全检查清单核对鉴权、输入边界、SSRF、命令执行和审计。即使权重完全公开,工具层仍然是部署方可以控制和撤销的边界。

第四步:自动化评测,但保留人工裁决

每次权重、量化方案、推理引擎或工具权限变化时,自动运行相同的回归集,并保存配置、结论和失败样本。周期任务可以接入类似 Cronova 的工作流调度器,但“任务成功”只能表示评测完成,不能自动代表模型安全。

下面是一份示例门禁配置,字段需要按团队风险模型调整,并不代表任何标准要求:

artifact:
  repository: vendor/model
  revision: immutable-commit
  weights_sha256: verified-out-of-band
  license_review: approved

evaluation:
  suites:
    - benign-utility
    - cyber-misuse
    - privacy-leakage
    - tool-escalation
  configuration_locked: true
  independent_review: required

deployment:
  network_egress: deny-by-default
  secrets_access: none
  high_impact_tools: human-approval
  audit_log: enabled

release:
  redistribute_weights: false
  rollback_plan: tested

第五步:单独审批“使用”与“再发布”

内部运行一个公开模型和向外再发布权重不是同一级风险。内部部署还可以撤销账号、关停容器、断开工具、轮换密钥;权重一旦公开复制,原发布者通常无法让所有副本消失。

因此至少设置四个发布级别:

场景 建议门槛
无敏感数据、无工具的本地原型 来源与许可证通过,基础滥用测试
处理内部数据的受控服务 增加隐私评测、访问控制、隔离和审计
可自主调用高影响工具的 Agent 增加对抗评测、最小权限、人工批准和故障演练
对外分发权重或高风险微调版本 独立复核、明确能力阈值、再分发评估和不可撤回风险签署

模块化训练能解决不可撤回问题吗?

Anthropic 提到的一个研究方向,是把敏感能力尽量隔离到可移除模块中。GRAM 模块化预训练研究在 5000 万到 50 亿参数实验中展示了按模块保留或移除特定知识的可能性。

这值得关注,但不能写成“开放权重已经可以安全撤回危险能力”。研究明确说明它仍属初步结果,没有用于 Anthropic 的生产模型,也没有验证前沿规模、复杂能力纠缠和真实下游任务。即使基础模型采用模块化设计,第三方仍可能重新训练、组合适配器或发布其他版本。

更稳妥的结论是:模块化训练可能改变未来的发布选项,但今天的团队仍应假设公开权重不可全面召回,并把可撤销控制放在工具、网络、身份和部署环境中。

哪些结论目前不能从 Anthropic 的文章推出?

  • 不能推出所有开放权重模型都比封闭模型危险;
  • 不能推出某个国家来源本身就是模型风险等级;
  • 不能推出开放权重一定帮助攻击者,或一定帮助防守者;
  • 不能推出某个参数量天然等于“危险能力”;
  • 不能把芯片、蒸馏与安全测试主张当成已经生效的全球法律;
  • 不能把厂商自述的蒸馏规模、能力差距或政策效果当成独立复现实验。

对具体模型做决定时,应把厂商立场、产业倡议、政府评测和团队自己的测试分列,而不是把它们拼成一个貌似确定的结论。

FAQ

Anthropic 是否要求禁止开放权重模型?

没有。它明确反对按类别全面禁止,认可低风险开放权重模型的公共价值;其限制主张主要针对高能力模型的发布前测试,以及芯片和工业规模违规蒸馏等问题。

开放权重模型就是开源模型吗?

不一定。只有权重可下载时,训练代码、数据说明、许可证和完整修改自由仍可能缺失。评估时应分别记录这些要素。

企业应该因此停止使用开放权重模型吗?

不应从这份立场文章得出统一停用结论。企业应按具体模型、业务数据、工具权限、评测结果与再分发方式决定。私有部署可能改善数据控制,但不会自动消除模型与应用层风险。

最重要的一条工程原则是什么?

把标签判断改成可复现的发布门禁:锁定制品,验证来源,测试实际能力,限制工具权限,记录残余风险,并把“内部使用”和“公开分发”分开审批。这样无论政策如何变化,团队都有证据说明自己发布了什么、为何允许发布,以及出问题时还能撤回哪些控制。