AI Tracker下載 App
← 所有新聞

OpenAI 介紹 Performance Factory:由 Codex 驅動、用來調查 ChatGPT 效能退化的系統

在一篇工程部落格文章中,OpenAI 的 Okay Zed 與 Cyrus Forbes 介紹了 Performance Factory。這是一套雲端系統,Codex 代理會在其中找出 ChatGPT 的效能問題並協助修復。工程師以 Markdown 提示詞和設定檔定義工作流程,列出任務的狀態與轉換。

  • 組成部分:具備可設定工作流程的任務服務;當任務的下一步就緒時啟動 Codex 回合的派發迴圈;以服務身分在雲端執行 Codex 的內部 API;以及在發生變更時喚醒任務的訂閱機制,例如收到 pull request 留言或部署完成。
  • 回歸工作流程:效能警示會建立一項任務。代理進行調查,另一個獨立的 Codex 工作階段嘗試推翻診斷結果,接著由代理提出修正方案,並以 pull request 交由工程師審查。部署後,代理會確認效能是否恢復至基準;若沒有,便重新開啟工作。
  • OpenAI 回報的數據:在略多於三個月的時間裡,該工作流程追蹤了超過 1,700 次調查,並找出超過 600 次問題的根本原因,平均每天約 17 次。OpenAI 人工審查了 100 項根因建議,評定其中 70% 正確;其餘則需要改進,或未能充分證明因果關係。
  • 列出的經驗:保護工程師的注意力;評估對代理所做的變更(其 perf-forensics 技能透過以過往效能回歸案例建立的評估進行改進);並將反覆出現的故障轉化為自我修復機制。

這樣的新聞,第一時間推播給你。

你使用的 AI 工具一有變化,AI Tracker 就會通知你。

下載 App