OpenAI 聘请四家外部机构,从内部评估其模型的对齐与安全防护措施
OpenAI 表示,已与 Apollo Research、METR、Transluce 和 Goodfire 签署协议,启动第一阶段的“嵌入式评估”。在评估期间,独立专家将在较长时间内深入接触 OpenAI 的内部模型和系统。访问权限可能包括模型检查点、源代码、训练和评估数据、监控系统,以及与研究人员的交流。首轮评估将考察模型在训练和内部使用期间的对齐情况与安全防护措施。OpenAI 于 11 月 13 日发布了这则公告。
- Apollo Research 将检验四项说法:训练没有激励模型实施破坏行为;评估和红队测试不会诱发此类行为;模型在内部使用时没有尝试过此类行为;以及相关推理过程能够被检测到。
- METR 将评估 OpenAI 迄今规模最大的强化学习训练中出现的失配行为。OpenAI 表示,双方初步同意开展更全面的监控评估,但范围仍待商定。
- Transluce 将评估 OpenAI 后训练对齐评估的质量和覆盖范围。双方均表示,计划在 2027 年初开展约八周的后续评估。
- Goodfire 将派驻可解释性研究人员,分析模型内部机制,用于监控训练过程、调试和对齐。其主要受众是 OpenAI 自己的研究人员,同时也会发布研究结果。
OpenAI 介绍了评估规程:需要接触敏感信息的评估人员须在现场使用 OpenAI 设备工作;OpenAI Foundation 董事会的安全与安保委员会可查看未经删节的报告;与员工的谈话不对外公开,但评估人员可要求 OpenAI 出具经其确认的声明;OpenAI 保留删去机密信息以及要求延迟披露以负责任地处理问题的权利。OpenAI 还披露,Apollo Research 和 Goodfire 收取报酬,且报酬不与评估结果挂钩;METR 和 Transluce 不收取报酬,但可能接受 API 额度或算力。
来源
- 我们的第一阶段嵌入式评估chatgpt
讨论
- First phase of embedded assessments at OpenAIHacker News · 15 条评论
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。