OpenAI의 Agents API에 비동기 함수와 베타 세션별 예산 제어 기능 추가

Agents API 팀의 OpenAI 엔지니어가 팀의 최신 기능을 소개했습니다.

• 비동기 함수. 에이전트는 도구를 호출한 뒤 결과를 기다리지 않고 계속 작업할 수 있습니다. 예를 들어 시간이 오래 걸리는 조회를 미리 시작하거나, 요청의 서로 독립적인 부분에 답하고, 애플리케이션에서 결과를 받으면 이를 반환할 수 있습니다.
• 예산 제어(베타). 세션별로 에이전트의 예산을 제한하고 모니터링하며 제어해, 한 고객이 계정의 토큰을 전부 소진하지 못하도록 합니다. 엔지니어에게 요청하면 이용할 수 있습니다.
• 12시간 프롬프트 캐시. 프롬프트를 12시간 동안 캐시할 수 있습니다. 엔지니어는 장시간 실행되는 에이전트와 개인용 에이전트를 사용하는 고객들이 이 기능으로 비용을 절감했다고 밝혔습니다.

엔지니어는 다음 주를 위한 기능 요청을 받는다고 했습니다.