OpenAI beschreibt die Performance Factory, ein von Codex betriebenes System, das Leistungseinbußen bei ChatGPT untersucht
In einem Engineering-Beitrag beschreiben OpenAIs Okay Zed und Cyrus Forbes die Performance Factory: ein Cloud-System, in dem Codex-Agenten Leistungsprobleme bei ChatGPT finden und bei ihrer Behebung helfen. Engineers definieren Workflows als Markdown-Prompts und eine Konfigurationsdatei, in der die Zustände und Übergänge einer Aufgabe aufgeführt sind.
- Bestandteile: ein Aufgabendienst mit konfigurierbaren Workflows, eine Dispatch-Schleife, die einen Codex-Durchlauf startet, sobald der nächste Schritt einer Aufgabe bereit ist, eine interne API, die Codex in der Cloud unter einer Dienstidentität ausführt, und Subscriptions, die eine Aufgabe aktivieren, wenn sich etwas ändert – etwa ein Kommentar zu einem Pull Request oder der Abschluss eines Deployments.
- Regression Workflow: Ein Performance-Alarm eröffnet eine Aufgabe. Ein Agent untersucht das Problem, eine separate Codex-Sitzung versucht, die Diagnose zu widerlegen, und ein Agent schlägt eine Korrektur als Pull Request vor, den ein Engineer prüfen soll. Nach dem Deployment kontrolliert ein Agent, ob die Leistung wieder das Ausgangsniveau erreicht hat, und nimmt die Arbeit wieder auf, falls nicht.
- Zahlen laut OpenAI: In etwas mehr als drei Monaten erfasste der Workflow mehr als 1.700 Untersuchungen und ermittelte bei über 600 die Ursache – etwa 17 pro Tag. Bei einer manuellen Prüfung von 100 Vorschlägen zur Ursachenanalyse bewertete OpenAI 70 % als zutreffend; der Rest musste überarbeitet werden oder belegte den ursächlichen Zusammenhang nicht vollständig.
- Aufgeführte Erkenntnisse: die Aufmerksamkeit der Engineers schützen, Änderungen an Agenten evaluieren (OpenAIs
perf-forensics-Skill wurde mithilfe von Evals verfeinert, die auf früheren Regressionen basierten) und wiederkehrende Fehler in Selbstreparatur überführen.
Quellen
News wie diese als Push.
AI Tracker benachrichtigt dich, wenn sich bei deinen Tools etwas ändert.