OpenAI beschrijft de Performance Factory, een door Codex aangedreven systeem dat prestatieverslechteringen in ChatGPT onderzoekt
In een engineeringblog beschrijven Okay Zed en Cyrus Forbes van OpenAI de Performance Factory: een cloudsysteem waarin Codex-agents prestatieproblemen in ChatGPT opsporen en helpen oplossen. Engineers definiëren workflows met Markdown-prompts en een configuratiebestand waarin de statussen en overgangen van een taak staan vermeld.
- Onderdelen: een taakservice met configureerbare workflows, een dispatchlus die een Codex-beurt start zodra de volgende stap van een taak klaarstaat, een interne API die Codex in de cloud uitvoert met een service-identiteit, en abonnementen die een taak activeren wanneer er iets verandert, zoals een opmerking bij een pull request of een voltooide implementatie.
- Workflow voor regressies: een prestatiealarm maakt een taak aan. Een agent doet onderzoek, een aparte Codex-sessie probeert de diagnose te weerleggen en een agent stelt een oplossing voor in de vorm van een pull request dat een engineer kan beoordelen. Na de implementatie controleert een agent of de prestaties weer op het basisniveau zijn; zo niet, dan pakt die het werk opnieuw op.
- Cijfers volgens OpenAI: in iets meer dan drie maanden volgde de workflow meer dan 1.700 onderzoeken en stelde die bij meer dan 600 de hoofdoorzaak vast, ongeveer 17 per dag. Bij een handmatige beoordeling van 100 voorstellen voor hoofdoorzaken beoordeelde OpenAI 70% als accuraat; de rest moest worden verfijnd of stelde het oorzakelijke verband niet volledig vast.
- Genoemde lessen: bescherm de aandacht van engineers, evalueer wijzigingen aan agents (de
perf-forensics-skill is verfijnd met evals op basis van eerdere regressies) en zet terugkerende fouten om in zelfherstel.
Bronnen
Krijg nieuws als dit als pushmelding.
AI Tracker waarschuwt je zodra er iets verandert aan de tools die je gebruikt.