AI TrackerPobierz
← Wszystkie wiadomości

OpenAI opisuje Performance Factory — system oparty na Codex, który bada regresje wydajności ChatGPT

W poście inżynieryjnym Okay Zed i Cyrus Forbes z OpenAI opisują Performance Factory — system chmurowy, w którym agenci Codex wykrywają problemy z wydajnością ChatGPT i pomagają je naprawiać. Inżynierowie definiują przepływy pracy jako prompty w Markdown oraz plik konfiguracyjny zawierający stany zadania i przejścia między nimi.

  • Elementy: usługa zadań z konfigurowalnymi przepływami pracy, pętla dyspozytorska uruchamiająca turę Codex, gdy dostępny jest kolejny etap zadania, wewnętrzne API uruchamiające Codex w chmurze z tożsamością usługi oraz subskrypcje, które wybudzają zadanie po zmianie, na przykład po komentarzu do pull requesta lub zakończeniu wdrożenia.
  • Przepływ pracy związany z regresjami: alert o problemie z wydajnością otwiera zadanie. Agent prowadzi dochodzenie, osobna sesja Codex próbuje podważyć diagnozę, a agent proponuje poprawkę w formie pull requesta do oceny przez inżyniera. Po wdrożeniu agent sprawdza, czy wydajność wróciła do poziomu bazowego, a jeśli nie — ponownie otwiera zadanie.
  • Liczby według OpenAI: w ciągu nieco ponad trzech miesięcy przepływ pracy objął ponad 1700 dochodzeń i pozwolił ustalić przyczynę źródłową w ponad 600 przypadkach, czyli około 17 dziennie. W ręcznym przeglądzie 100 sugestii dotyczących przyczyn źródłowych OpenAI oceniło 70% jako trafne; pozostałe wymagały dopracowania albo nie wykazywały w pełni związku przyczynowego.
  • Wymienione wnioski: chronić uwagę inżynierów, oceniać zmiany w agentach (umiejętność perf-forensics dopracowano za pomocą ewaluacji opartych na wcześniejszych regresjach) i przekształcać powtarzające się awarie w mechanizmy samonaprawy.

Otrzymuj takie wiadomości jako push.

AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.

Pobierz aplikację