AI TrackerСкачать
← Все новости

OpenAI рассказывает о Performance Factory — системе на базе Codex, которая выявляет регрессии производительности ChatGPT

В инженерном блоге Okay Zed и Cyrus Forbes из OpenAI рассказывают о Performance Factory — облачной системе, в которой агенты Codex находят проблемы с производительностью ChatGPT и помогают их исправлять. Инженеры задают рабочие процессы с помощью Markdown-промптов и файла конфигурации, в котором перечислены этапы задачи и переходы между ними.

  • Компоненты: сервис задач с настраиваемыми рабочими процессами, цикл диспетчеризации, который запускает сеанс Codex, когда готов следующий этап задачи, внутренний API для запуска Codex в облаке от имени сервисной учётной записи и подписки, которые активируют задачу при изменениях — например, комментарии к pull request или завершении развёртывания.
  • Рабочий процесс регрессии: оповещение о проблеме с производительностью создаёт задачу. Агент проводит расследование, отдельный сеанс Codex пытается опровергнуть диагноз, а агент предлагает исправление в виде pull request для проверки инженером. После развёртывания агент проверяет, вернулась ли производительность к исходному уровню, и возобновляет работу, если этого не произошло.
  • Цифры по данным OpenAI: за чуть более чем три месяца этот рабочий процесс отслеживал более 1 700 расследований и установил первопричину более чем в 600 случаях — около 17 в день. При ручной проверке 100 предложений о первопричинах OpenAI признала точными 70%; остальные требовали доработки или не полностью подтверждали причинно-следственную связь.
  • Уроки, которые выделяет компания: беречь внимание инженеров, оценивать изменения в агентах (навык perf-forensics дорабатывали с помощью evals, созданных на основе прошлых регрессий) и превращать повторяющиеся сбои в возможности для самовосстановления.

Получайте такие новости в push.

AI Tracker сообщит, когда что-то меняется в ваших инструментах.

Скачать приложение