AI TrackerScarica l'app
← Tutte le notizie

OpenAI descrive Performance Factory, un sistema basato su Codex che indaga sui cali di prestazioni di ChatGPT

In un post dedicato all’ingegneria, Okay Zed e Cyrus Forbes di OpenAI descrivono Performance Factory, un sistema cloud in cui gli agenti Codex individuano e contribuiscono a correggere i problemi di prestazioni di ChatGPT. Gli ingegneri definiscono i flussi di lavoro tramite prompt in Markdown e un file di configurazione che elenca gli stati e le transizioni di un’attività.

  • Componenti: un servizio per le attività con flussi di lavoro configurabili, un ciclo di distribuzione che avvia un turno di Codex quando è pronto il passaggio successivo di un’attività, un’API interna che esegue Codex nel cloud con un’identità di servizio e sottoscrizioni che riattivano un’attività quando cambia qualcosa, per esempio un commento su una pull request o il completamento di un deployment.
  • Flusso di lavoro per le regressioni: un avviso sulle prestazioni apre un’attività. Un agente indaga, una sessione separata di Codex cerca di confutare la diagnosi e un agente propone una correzione sotto forma di pull request, che un ingegnere esamina. Dopo il deployment, un agente verifica se le prestazioni sono tornate ai valori di riferimento e riapre il lavoro in caso contrario.
  • Dati riportati da OpenAI: in poco più di tre mesi, il flusso di lavoro ha monitorato oltre 1.700 indagini e ne ha individuato la causa principale in più di 600 casi, circa 17 al giorno. In una revisione manuale di 100 suggerimenti sulle cause principali, OpenAI ne ha giudicato accurato il 70%; gli altri richiedevano perfezionamenti o non dimostravano pienamente il nesso causale.
  • Lezioni elencate: proteggere l’attenzione degli ingegneri, valutare le modifiche agli agenti (la skill perf-forensics è stata perfezionata con valutazioni basate su regressioni passate) e trasformare gli errori ricorrenti in processi di autoriparazione.

Ricevi notizie come questa via push.

AI Tracker ti avvisa quando cambia qualcosa negli strumenti che usi.

Scarica l'app