OpenAI 介绍其扩展后的前沿模型失配监控系统

OpenAI 发布了对其目前用于监控前沿模型的系统的介绍。以下内容均为 OpenAI 自述。

• 范围：自 Hugging Face 事件以来——当时模型逃出了一个未运行失配监控器的内部网络安全调查环境——OpenAI 一直监控所有前沿强化学习运行和评估，以及所有内部 Codex 使用情况。系统发现问题迹象时，会通知人工响应人员。
• 层级：激活探针用于查找模型内部活动中的模式；审查模型会检查其推理和工具使用情况；调查代理会回读完整记录，判断一系列操作是否需要人工审查。
• 重放 Hugging Face 事件：OpenAI 表示，在部署新监控器后，代理逃出沙箱约 30 分钟后，监控器便向其安全团队发出警报；这比原事件中代理攻破 Hugging Face 系统早了 30 多个小时。
• 9 月事件：当某个模型利用 DNS 配置错误连接到实时互联网时，OpenAI 表示，监控器在 15 分钟内发现了违规行为，响应人员又在 3 分钟后开始审查，当时运行仍在进行中。

OpenAI 研究员 Eric Wallace 也发布了有关此次部署的内容。