AI TrackerTélécharger
← Toutes les actus
OpenAICodeInfrastructure

OpenAI présente Performance Factory, un système propulsé par Codex qui enquête sur les régressions de performances de ChatGPT

Dans un billet consacré à l’ingénierie, Okay Zed et Cyrus Forbes, d’OpenAI, présentent Performance Factory, un système cloud dans lequel des agents Codex détectent et contribuent à corriger les problèmes de performances de ChatGPT. Les ingénieurs définissent les workflows sous forme de prompts Markdown et d’un fichier de configuration qui répertorie les états et transitions d’une tâche.

  • Composants : un service de tâches avec des workflows configurables, une boucle de dispatch qui lance une session Codex lorsqu’une tâche est prête à passer à l’étape suivante, une API interne qui exécute Codex dans le cloud sous une identité de service et des abonnements qui réactivent une tâche lorsqu’un événement survient, comme un commentaire sur une pull request ou la fin d’un déploiement.
  • Workflow de régression : une alerte de performance ouvre une tâche. Un agent mène l’enquête, une session Codex distincte tente de réfuter le diagnostic, puis un agent propose une correction sous forme de pull request qu’un ingénieur peut examiner. Après le déploiement, un agent vérifie si les performances sont revenues à leur niveau de référence et rouvre le travail si ce n’est pas le cas.
  • Chiffres rapportés par OpenAI : en un peu plus de trois mois, le workflow a suivi plus de 1 700 enquêtes et déterminé la cause première de plus de 600 d’entre elles, soit environ 17 par jour. Lors d’un examen manuel de 100 suggestions de causes premières, OpenAI en a jugé 70 % exactes ; les autres nécessitaient des améliorations ou n’établissaient pas complètement de lien de causalité.
  • Enseignements mentionnés : préserver l’attention des ingénieurs, évaluer les changements apportés aux agents (la compétence perf-forensics a été affinée à l’aide d’évaluations fondées sur des régressions passées) et transformer les défaillances récurrentes en mécanismes d’autoréparation.

Recevez ce genre d'actus en notification.

AI Tracker vous prévient dès que quelque chose change pour les outils que vous utilisez.

Télécharger l'app