OpenAI 报告称,其编程智能体如今无需协助即可完成近一半需要两到四小时的研究任务
在一份日期为 11 月 18 日的报告中,OpenAI 分享了内部测量数据,说明编程智能体如何改变其 AI 研究,并将其作为对 9 月报告的更新。报告称,提升呈现“参差不齐”的特点,并表示人类仍是工作的核心。
- 任务成功率: OpenAI 估计,智能体在无需人工干预的情况下,完成原本需要人类两到四小时的任务的成功率,从 3 月到 10 月由 23% 升至 46%;完成四到八小时任务的成功率则由 13% 升至 35%。按任务类型划分,成功率分别为:监控训练运行 79%、回答技术问题 72%、启动训练运行 35%、构建评测和智能体环境 29%,以及编写推理和服务代码 25%。
- 使用情况: 按 API 标价计算,研究人员每日使用智能体的费用中位数在 10 月达到 2,400 美元(较 9 月增长 62%),第 90 百分位数达到 23,000 美元(增长 105%)。每位研究人员的智能体工作日从 0.5 天增至 5.7 天。OpenAI 表示,截至 9 月,智能体使用量按 API 等价价格计算约为研究人员非股权薪酬的两倍,而内部部署仅占研究算力的 2%。
- 调查: 在一项针对 101 名研究人员的调查中,受访者愿意放弃团队 40% 的人员编制或 30% 的算力,以换取未来三个月继续使用前沿编程智能体。在一项规模较小的调查中,28 名受访者中有 27 人预计,使用最新的内部模型会比使用一名职业生涯中期的研究工程师加上一款 2024 年模型更有生产力。
- 构想: 研究人员表示,GPT-6 Astra 和 GPT-6.2 Astra 背后的关键构想由人类提出,模型则协助落实。一些预训练研究人员表示,Codex 帮助完善了 GPT-6.2 Astra 的构想。
- 安全: OpenAI 表示,有记录的安全与对齐工作从 1 月到 9 月增加了 77%,是所有研究领域中增幅最大的;这一增长在 7 月的 Hugging Face 事件后开始加快。
OpenAI 表示,这份报告旨在支持公众追踪递归自我改进的相关指标,不应被解读为其有意追求递归自我改进。报告中的数字均为 OpenAI 自行估算;该公司也指出,其任务委派数据和自我报告数据存在局限。
来源
- 研究加速:参差不齐的前沿chatgpt
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。