AI Tracker下载 App
← 全部新闻
OpenAI编程基础设施

OpenAI 介绍 Performance Factory:一个由 Codex 驱动、用于排查 ChatGPT 性能回退的系统

在一篇工程博客中,OpenAI 的 Okay Zed 和 Cyrus Forbes 介绍了 Performance Factory。这是一个云端系统,Codex agents 会在其中发现并协助修复 ChatGPT 的性能问题。工程师使用 Markdown 提示词和配置文件定义工作流,配置文件会列出任务的状态及其转换方式。

  • 组成部分:一个支持可配置工作流的任务服务;一个调度循环,在任务的下一步就绪时启动 Codex 轮次;一个内部 API,可在云端以服务身份运行 Codex;以及一些订阅机制,可在发生变化时唤醒任务,例如收到拉取请求评论或部署完成。
  • 回归工作流:性能警报会创建一个任务。一个 agent 负责调查,另一个独立的 Codex 会话尝试证伪诊断结果,随后一个 agent 提出修复方案并创建拉取请求,供工程师审核。部署后,agent 会检查性能是否恢复至基线;如果没有,就重新开启这项工作。
  • OpenAI 报告的数据:在略多于三个月的时间里,该工作流跟踪了 1,700 多起调查,并查明了 600 多起的根本原因,平均每天约 17 起。在对 100 条根因建议进行的人工审查中,OpenAI 评定其中 70% 准确;其余建议需要完善,或未能充分确立因果关系。
  • 列出的经验:保护工程师的注意力;评估对 agents 的改动(其 perf-forensics skill 借助基于过往回归问题构建的 evals 进行了完善);并将反复出现的问题转化为自我修复机制。

这样的新闻,第一时间推送给你。

你用的 AI 工具一有变化,AI Tracker 就会提醒你。

下载 App