AI TrackerBaixar o app
← Todas as notícias
OpenAIProgramaçãoInfraestrutura

OpenAI descreve a Performance Factory, um sistema com tecnologia Codex que investiga regressões de desempenho do ChatGPT

Em uma publicação de engenharia, Okay Zed e Cyrus Forbes, da OpenAI, descrevem a Performance Factory, um sistema em nuvem no qual agentes do Codex identificam e ajudam a corrigir problemas de desempenho no ChatGPT. Engenheiros definem fluxos de trabalho com prompts em Markdown e um arquivo de configuração que lista os estados e as transições de uma tarefa.

  • Componentes: um serviço de tarefas com fluxos de trabalho configuráveis, um ciclo de distribuição que inicia uma execução do Codex quando a próxima etapa de uma tarefa está pronta, uma API interna que executa o Codex na nuvem sob uma identidade de serviço e assinaturas que reativam uma tarefa quando algo muda, como um comentário em uma pull request ou a conclusão de uma implantação.
  • Fluxo de trabalho de regressão: um alerta de desempenho abre uma tarefa. Um agente investiga, uma sessão separada do Codex tenta refutar o diagnóstico e um agente propõe uma correção em uma pull request para revisão de um engenheiro. Após a implantação, um agente verifica se o desempenho voltou ao nível de referência e reabre o trabalho caso isso não tenha acontecido.
  • Números, segundo a OpenAI: em pouco mais de três meses, o fluxo de trabalho acompanhou mais de 1.700 investigações e identificou a causa-raiz de mais de 600, cerca de 17 por dia. Em uma revisão manual de 100 sugestões de causa-raiz, a OpenAI considerou 70% precisas; as demais precisavam de ajustes ou não estabeleciam completamente a causalidade.
  • Lições apontadas: proteger a atenção dos engenheiros, avaliar mudanças nos agentes (a skill perf-forensics foi aprimorada com avaliações criadas a partir de regressões anteriores) e transformar falhas recorrentes em autorreparação.

Receba notícias como esta por push.

O AI Tracker avisa você quando algo muda nas ferramentas que você usa.

Baixar o app