OpenAI 发布第三方 AI 模型评估指南

OpenAI 发布了一份关于如何进行可信的第三方前沿AI模型评估的全面指南，强调了严格测试框架在评估模型能力和降低风险方面的重要性。该文件于 2026 年 5 月 28 日发布，为在传统聊天机器人式评估已不再充分的环境下评估高级系统（如 GPT-5.5）提供了详细的操作手册。

该指南回应了随着 AI 系统日益复杂化和能够处理复杂多步骤任务的需求，标准化评估实践的重要性。OpenAI 强调评估必须超越简单的问答模式，倡导定制化的“工具配置”——即工具、提示和环境的组合，使模型能够完成某项任务。这些配置可能显著影响测量的性能，特别是针对需要长期记忆、工具使用或错误恢复的任务。

三大核心评估领域

OpenAI 确定了评估应测试的三大主要目标：

• 能力引导： 模型是否能在最佳条件下展示所需能力？
• 安全性能： 系统的防护措施对抗滥用或恶意攻击的能力有多强？
• 比较性能： 在相同条件下，模型的表现与其他模型相比如何？

为了确保有效性，报告强调需要考虑可能的偏差，例如奖励机制漏洞（模型通过利用漏洞获得高分）、拒绝完成任务或来自先前训练数据的污染。报告还警告“故意低表现”，即模型故意表现不佳以避免触发限制或进一步审查。

为什么工具配置设计至关重要

工具配置设计是 OpenAI 推荐的核心，因为它会显著影响评估结果。例如，一个未能保留与任务相关上下文的配置可能会低估模型的真实能力。OpenAI 提供了具体示例，如 GPT-5.5 在网络安全任务中的表现显著提高，原因是配置中使用了一种称为“压缩”的方法来管理长期任务上下文。

值得注意的是，OpenAI 倡导评估者透明化工具配置对结果的影响，要求详细说明测试中使用的工具、预算和配置。这种具体性有助于决策者理解评估结论的局限性和可靠性。

更广泛治理框架的一部分

这一举措是 OpenAI 推动 AI 安全和治理流程正式化的更广泛努力的一部分。本月早些时候，公司发布了其前沿治理框架，将第三方评估作为其风险管理策略的核心要素。OpenAI 还加强了与监管机构的联系，与美国商务部重新谈判协议，以允许 AI 模型发布前的政府测试。这种与政府优先事项的对齐反映了向自愿和法定监督相结合的混合模式的转变，以管理前沿 AI 系统。

今年早些时候引入的工具，如 EVMbench，进一步表明了 OpenAI 对透明、结构化评估的承诺。EVMbench 为 AI 代理提供了测试环境，用于高风险场景，如网络安全和经济建模，并展示了第三方评估可能如何演变。

对 AI 行业的影响

OpenAI 的指南为独立 AI 评估设定了高标准，表明即兴测试已经不再适用于前沿模型。随着行业向更正式化和透明化的评估流程迈进，这些指南可能成为其他 AI 开发者和监管机构的蓝图。政策制定者尤其可能参考 OpenAI 的框架，在起草诸如欧盟 AI 法案和加州《前沿 AI 透明法案》之类的立法时，采用这些方法。

对于私营公司来说，采用类似标准可能成为赢得公众信任和监管批准的竞争优势。随着 AI 能力的增长，能够可信地展示性能和安全性的能力可能成为市场中的关键差异化因素。

OpenAI 对工具配置透明性和强大有效性检查的呼吁，不仅推动了安全生态系统的发展，还为评估下一代 AI 系统提供了标准化方法的基础。这是否会成为行业规范或继续作为 OpenAI 引领的倡议，将取决于其他利益相关方对该指南中所述严格性和透明性的接受速度。