Anthropic 表示,现已接纳非营利研究机构 METR 与 SecureBio 的评估人员入驻 ,同时也正推进与埃森哲开展同类合作 。
Anthropic 于周四发布博客称,公司现已引入 AI 评估人员入驻企业内部,对安全机制与风险开展评估并对外发布报告。评估人员可以使用公司电脑 、办公场地 ,还能够访问内部工具与系统。
此前,两家企业的智能体均突破安全护栏,出现入侵企业系统以及其他越权行为 。在此之后 ,Anthropic 首席执行官达里奥・阿莫代伊承诺,将与 OpenAI 一道启用外部评估机构。今年 7 月末,AI 评估非营利组织 METR 就曾发布调查报告 ,内容涉及 OpenAI 智能体入侵模型平台 Hugging Face 一事。
近来 ,METR 的六名工作人员已经获得类员工权限,在 Anthropic 内部开展风险评估 。Anthropic 称,公司无权否决 METR 出具的报告 ,但可以要求对客户数据、模型架构信息以及律师‑客户保密信息做删节处理。
生物安全非营利机构 SecureBio 同样在为 Anthropic 开展评估工作,但可访问信息的范围相比 METR 更为有限。Anthropic 还计划引入埃森哲 AI 业务部门的人员,对模型安全防护机制做评估与压力测试 。公司表示 ,未来希望引入更多评估机构,其中包括 Hugging Face。

AI 实验室的批评者对这批 AI 评估机构的独立性提出质疑,部分原因在于不少评估机构接受过 OpenAI、Anthropic 早期投资方的资助 ,或是工作人员此前曾任职于 AI 企业。Anthropic 表示,其要求评估人员不得持有 Anthropic 股权,也不能在财务 、运营层面依附该项目;同时非营利评估机构也需要满足相关约束条件。

OpenAI 本月解雇三名安全研究员一事 ,也让外界聚焦 OpenAI 与评估机构的合作 。被解雇人员中,有一人曾是 METR 调查 Hugging Face 事件的主要对接人。





