OpenAI opisuje Performance Factory — system oparty na Codex, który bada regresje wydajności ChatGPT
W poście inżynieryjnym Okay Zed i Cyrus Forbes z OpenAI opisują Performance Factory — system chmurowy, w którym agenci Codex wykrywają problemy z wydajnością ChatGPT i pomagają je naprawiać. Inżynierowie definiują przepływy pracy jako prompty w Markdown oraz plik konfiguracyjny zawierający stany zadania i przejścia między nimi.
- Elementy: usługa zadań z konfigurowalnymi przepływami pracy, pętla dyspozytorska uruchamiająca turę Codex, gdy dostępny jest kolejny etap zadania, wewnętrzne API uruchamiające Codex w chmurze z tożsamością usługi oraz subskrypcje, które wybudzają zadanie po zmianie, na przykład po komentarzu do pull requesta lub zakończeniu wdrożenia.
- Przepływ pracy związany z regresjami: alert o problemie z wydajnością otwiera zadanie. Agent prowadzi dochodzenie, osobna sesja Codex próbuje podważyć diagnozę, a agent proponuje poprawkę w formie pull requesta do oceny przez inżyniera. Po wdrożeniu agent sprawdza, czy wydajność wróciła do poziomu bazowego, a jeśli nie — ponownie otwiera zadanie.
- Liczby według OpenAI: w ciągu nieco ponad trzech miesięcy przepływ pracy objął ponad 1700 dochodzeń i pozwolił ustalić przyczynę źródłową w ponad 600 przypadkach, czyli około 17 dziennie. W ręcznym przeglądzie 100 sugestii dotyczących przyczyn źródłowych OpenAI oceniło 70% jako trafne; pozostałe wymagały dopracowania albo nie wykazywały w pełni związku przyczynowego.
- Wymienione wnioski: chronić uwagę inżynierów, oceniać zmiany w agentach (umiejętność
perf-forensicsdopracowano za pomocą ewaluacji opartych na wcześniejszych regresjach) i przekształcać powtarzające się awarie w mechanizmy samonaprawy.
Źródła
Otrzymuj takie wiadomości jako push.
AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.