OpenAI descreve a Performance Factory, um sistema com tecnologia Codex que investiga regressões de desempenho do ChatGPT
Em uma publicação de engenharia, Okay Zed e Cyrus Forbes, da OpenAI, descrevem a Performance Factory, um sistema em nuvem no qual agentes do Codex identificam e ajudam a corrigir problemas de desempenho no ChatGPT. Engenheiros definem fluxos de trabalho com prompts em Markdown e um arquivo de configuração que lista os estados e as transições de uma tarefa.
- Componentes: um serviço de tarefas com fluxos de trabalho configuráveis, um ciclo de distribuição que inicia uma execução do Codex quando a próxima etapa de uma tarefa está pronta, uma API interna que executa o Codex na nuvem sob uma identidade de serviço e assinaturas que reativam uma tarefa quando algo muda, como um comentário em uma pull request ou a conclusão de uma implantação.
- Fluxo de trabalho de regressão: um alerta de desempenho abre uma tarefa. Um agente investiga, uma sessão separada do Codex tenta refutar o diagnóstico e um agente propõe uma correção em uma pull request para revisão de um engenheiro. Após a implantação, um agente verifica se o desempenho voltou ao nível de referência e reabre o trabalho caso isso não tenha acontecido.
- Números, segundo a OpenAI: em pouco mais de três meses, o fluxo de trabalho acompanhou mais de 1.700 investigações e identificou a causa-raiz de mais de 600, cerca de 17 por dia. Em uma revisão manual de 100 sugestões de causa-raiz, a OpenAI considerou 70% precisas; as demais precisavam de ajustes ou não estabeleciam completamente a causalidade.
- Lições apontadas: proteger a atenção dos engenheiros, avaliar mudanças nos agentes (a skill
perf-forensicsfoi aprimorada com avaliações criadas a partir de regressões anteriores) e transformar falhas recorrentes em autorreparação.
Fontes
Receba notícias como esta por push.
O AI Tracker avisa você quando algo muda nas ferramentas que você usa.