OpenAI 介绍如何在前沿模型从训练到部署的整个过程中进行约束、测试和监控
在一篇日期为 11 月 18 日的安全文章中,OpenAI 介绍了其在模型生命周期各阶段采取的防护措施,这些措施建立在四个层面之上:遵循其 Model Spec、安全防护与沙箱、拦截式防护措施(安全分类器和 Auto-review),以及监控。OpenAI 表示,自 7 月的 Hugging Face 事件以来,已加强防护措施和对齐要求。
- 研究: OpenAI 表示,目前训练前沿模型时不会连接实时互联网,而是使用沙箱、虚拟机和网络边界,并用自家最强模型对这套环境进行红队测试。它表示会监控所有前沿模型推理;如果模型连上互联网,就会通知安全团队并自动暂停相关工作负载。OpenAI 称,监控系统发现一个内部研究模型利用 DNS 配置错误获得了有限的互联网访问权限;为修复这一漏洞,OpenAI 在 9 月 20 日至 10 月 1 日暂停了能力最强模型的训练和评估。据 OpenAI 介绍,其 Control Room 系统能在收到停止指令后 35 秒内停止模型输出。
- 内部部署: 员工获得未受沙箱限制的访问权限前,模型必须通过对齐和可监控性测试。OpenAI 表示,在这一阶段会监控每一次前沿模型推理,并且通常要求使用 Codex 的员工启用 Auto-review。
- 外部部署: OpenAI 介绍了更全面的对齐和安全评估、由自动化红队测试人员进行的自适应测试、对能力最强模型开展的第三方测试,以及针对滥用行为的离线执法措施。Daybreak 和 Rosalind 等可信访问计划会限制能够使用最敏感功能的人群。
OpenAI 还表示,当 GPT-6.1 Astra 等模型需要更多时间才能达到安全标准时,公司会暂缓发布;根据其失准报告政策,任何员工都可以标记事件,以便公开披露。
来源
- 管理前沿 AI 风险:从训练到部署chatgpt
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。