OpenAI、ChatGPTの性能低下を調査するCodex搭載システム「Performance Factory」を紹介
エンジニアリングブログの記事で、OpenAIのOkay ZedとCyrus Forbesは、CodexエージェントがChatGPTの性能問題を発見し、修正を支援するクラウドシステム「Performance Factory」について説明しています。エンジニアは、Markdownのプロンプトと、タスクの状態や遷移を列挙した設定ファイルでワークフローを定義します。
- 構成要素: 設定可能なワークフローを備えたタスクサービス、タスクの次のステップが実行可能になるとCodexのターンを開始するディスパッチループ、サービスIDでCodexをクラウド上で実行する社内API、プルリクエストへのコメントやデプロイ完了など、何かに変化があった際にタスクを再開させるサブスクリプション。
- Regression Workflow: 性能アラートを受けてタスクが作成されます。エージェントが調査し、別のCodexセッションが診断を覆そうと試みたうえで、エージェントがエンジニアのレビュー用にプルリクエストとして修正案を提示します。デプロイ後はエージェントが性能がベースラインに戻ったかを確認し、戻っていなければ作業を再開します。
- OpenAIの報告による数値: 3か月余りで、このワークフローは1,700件超の調査を追跡し、600件超で根本原因を特定しました。1日あたり約17件に相当します。根本原因の提案を100件手作業でレビューしたところ、OpenAIの評価で70%が正確でした。残りは改善が必要、または因果関係を十分に立証できていませんでした。
- 挙げられている教訓: エンジニアの注意力を守ること、エージェントへの変更を評価すること(同社の
perf-forensicsスキルは、過去の性能低下事例から作成した評価データを使って改善されました)、繰り返し発生する障害を自己修復につなげること。
ソース
こんなニュースをプッシュで。
使っているツールに変化があると、AI Tracker がお知らせします。