Copied


OpenAI 推出独立评估嵌入式评估

realtime news   Nov 17, 2026 10:56 1 Min Read


OpenAI 已宣布推出嵌入式评估的第一阶段,与四个独立评估者——Apollo Research、METR、Transluce 和 Goodfire 合作。这项举措旨在通过向外部专家提供对 OpenAI 内部模型和系统的深度访问,以增强人工智能的透明度和安全性。该项目旨在评估模型对齐、安全性有效性和长期监控系统。

独立评估框架

嵌入式评估允许外部专家访问关键资源,如模型检查点、源代码、训练和评估数据、监控系统及技术文档。这些评估者还与 OpenAI 的研究人员和工程师直接互动,以深入了解模型的开发和部署。这种全面的访问使评估者能够进行独立评估并识别可能未在内部预期的潜在失败。

初始阶段专注于评估模型训练和内部使用过程中的对齐和安全防范。这些努力与 OpenAI 在《白宫超级智能协议》下的承诺相一致,该协议强调独立安全评估和公众透明度。该倡议还建立在 OpenAI 之前进行第三方评估的经验基础上,包括对其内部监控系统的最近试点评估以及对 Hugging Face 事件的调查。

合作组织的关键贡献

Apollo Research: Apollo Research 将调查 OpenAI 的模型是否可能暗中与其开发者的意图相悖。他们的评估将涵盖四个关键主张:训练未能激励颠覆、强评估未引发颠覆、模型在内部使用时未尝试颠覆,以及颠覆的推理能够被检测到。Apollo 将利用来自训练检查点、安全测试和标记行为的证据来进行其分析。

Goodfire: Goodfire 将专注于评估 OpenAI 的安全防范措施和监控系统的稳健性。公告中未披露他们的方法论和重点领域的具体细节。

METR 和 Transluce 的贡献也得到了强调,尽管在初步公告中没有详细说明具体角色和方法论。

战略影响

通过与独立专家合作,OpenAI 旨在建立更强的共享标准以确保人工智能安全,并在业内促进公众信任。这些评估所获得的见解预计将为未来的安全协议提供参考,并推动透明和负责任的人工智能系统的更广泛发展。


Read More