AI TrackerDescargar
← Todas las noticias
OpenAIProgramaciónInfraestructura

OpenAI describe Performance Factory, un sistema impulsado por Codex que investiga regresiones de rendimiento en ChatGPT

En una publicación de ingeniería, Okay Zed y Cyrus Forbes, de OpenAI, describen Performance Factory, un sistema en la nube en el que agentes de Codex detectan y ayudan a solucionar problemas de rendimiento en ChatGPT. Los ingenieros definen los flujos de trabajo mediante instrucciones en Markdown y un archivo de configuración que enumera los estados y las transiciones de una tarea.

  • Componentes: un servicio de tareas con flujos de trabajo configurables, un ciclo de despacho que inicia una sesión de Codex cuando está listo el siguiente paso de una tarea, una API interna que ejecuta Codex en la nube con una identidad de servicio y suscripciones que activan una tarea cuando algo cambia, como un comentario en una solicitud de incorporación de cambios o la finalización de un despliegue.
  • Flujo de trabajo de regresiones: una alerta de rendimiento abre una tarea. Un agente investiga, una sesión de Codex independiente intenta refutar el diagnóstico y un agente propone una solución en forma de solicitud de incorporación de cambios para que la revise un ingeniero. Tras el despliegue, un agente comprueba si el rendimiento ha vuelto al nivel de referencia y reabre el trabajo si no es así.
  • Cifras, según OpenAI: en poco más de tres meses, el flujo de trabajo hizo seguimiento de más de 1.700 investigaciones y determinó la causa raíz de más de 600, unas 17 al día. En una revisión manual de 100 sugerencias sobre causas raíz, OpenAI calificó el 70% como precisas; el resto necesitaba ajustes o no demostraba por completo la causalidad.
  • Lecciones que enumera: proteger la atención de los ingenieros, evaluar los cambios en los agentes (su habilidad perf-forensics se perfeccionó con evaluaciones basadas en regresiones anteriores) y convertir los fallos recurrentes en procesos de autorreparación.

Recibe noticias como esta por push.

AI Tracker te avisa cuando algo cambia en las herramientas que usas.

Descargar la app