AI Tracker앱 받기
← 전체 뉴스
OpenAI코딩인프라

OpenAI, ChatGPT 성능 저하를 조사하는 Codex 기반 시스템 Performance Factory를 소개

OpenAI 엔지니어링 게시물에서 Okay Zed와 Cyrus Forbes는 Codex 에이전트가 ChatGPT의 성능 문제를 찾아 해결을 돕는 클라우드 시스템 Performance Factory를 소개합니다. 엔지니어는 Markdown 프롬프트와 작업의 상태 및 전환을 나열한 구성 파일로 워크플로를 정의합니다.

  • 구성 요소: 구성 가능한 워크플로를 제공하는 작업 서비스, 작업의 다음 단계가 준비되면 Codex 세션을 시작하는 디스패치 루프, 서비스 ID로 클라우드에서 Codex를 실행하는 내부 API, 그리고 풀 리퀘스트 댓글이나 배포 완료처럼 무언가 변경되면 작업을 깨우는 구독 기능.
  • 회귀 워크플로: 성능 경고가 작업을 생성합니다. 에이전트가 조사하고, 별도의 Codex 세션이 진단을 반증하려 시도합니다. 이어 에이전트가 수정안을 풀 리퀘스트로 제안하면 엔지니어가 검토합니다. 배포 후에는 에이전트가 성능이 기준선으로 돌아왔는지 확인하고, 그렇지 않으면 작업을 다시 엽니다.
  • OpenAI가 보고한 수치: 3개월이 조금 넘는 기간 동안 이 워크플로는 1,700건이 넘는 조사를 추적했고, 그중 600건 이상에서 근본 원인을 찾아 하루 약 17건을 처리했습니다. 근본 원인 제안 100건을 수동 검토한 결과, OpenAI는 70%를 정확하다고 평가했습니다. 나머지는 다듬을 필요가 있거나 인과관계를 충분히 입증하지 못했습니다.
  • OpenAI가 꼽은 교훈: 엔지니어의 집중력을 보호하고, 에이전트 변경 사항을 평가하며(과거 성능 회귀 사례를 바탕으로 만든 평가를 통해 perf-forensics 스킬을 개선했습니다), 반복되는 실패를 자가 복구로 이어지게 합니다.

이런 뉴스를 푸시로 받아보세요.

사용하는 도구에 변화가 생기면 AI Tracker가 알려드립니다.

앱 받기