В Agents API от OpenAI добавили асинхронные функции и бета-версию управления бюджетом для каждой сессии

Инженер из команды Agents API перечислил последние нововведения:

• Асинхронные функции. Агент может продолжать работу после вызова инструмента, не дожидаясь результата. Например, он может заранее запустить медленные запросы, ответить на независимые части запроса и вернуть результаты, когда приложение их получит.
• Управление бюджетом (бета-версия). Можно ограничивать, отслеживать и контролировать бюджет агента для каждой сессии, чтобы один клиент не израсходовал все токены аккаунта. Доступ предоставляется по запросу инженеру.
• Кэширование промптов на 12 часов. Промпты могут оставаться в кэше в течение 12 часов; по словам инженера, клиенты с долго работающими персональными агентами уже оценили экономию.

Инженер попросил присылать запросы на новые функции к следующей неделе.