De Agents API van OpenAI voegt asynchrone functies en een bètafunctie voor budgetbeheer per sessie toe

Een engineer van het Agents API-team van OpenAI somde de nieuwste toevoegingen van het team op:

• Asynchrone functies. Een agent kan blijven werken nadat die een tool heeft aangeroepen, zonder op het resultaat te wachten. Zo kan die bijvoorbeeld alvast trage zoekopdrachten starten, onafhankelijke delen van een verzoek beantwoorden en resultaten teruggeven zodra de applicatie die heeft.
• Budgetbeheer (bèta). Beperk, monitor en beheer het budget van een agent per sessie, zodat één klant niet alle tokens van een account kan opgebruiken. Toegang is op verzoek verkrijgbaar bij de engineer.
• Promptcache van 12 uur. Prompts kunnen 12 uur in de cache blijven; volgens de engineer hebben klanten met langlopende en persoonlijke agents hiermee besparingen gerealiseerd.

De engineer vroeg om functieverzoeken voor volgende week.