L’API Decisions di OpenAI è ora disponibile a tutti

OpenAI afferma che la sua API Decisions, entrata in beta pubblica il 6 ottobre, è ora disponibile a tutti. Secondo OpenAI, app e agenti possono usarla per classificare testo e immagini, valutare gli input e decidere cosa fare dopo senza generare una risposta completa del modello. Nell’annuncio della beta, OpenAI ha dichiarato che prende decisioni fino a 10 volte più velocemente di GPT-6 Luna tramite l’API Responses.

Dalla beta, OpenAI afferma di aver aggiunto:

• Integrazione nativa con GPT-Live, così le app vocali possono reagire mentre le persone parlano.
• Caching dei prompt, per ridurre i costi quando si riutilizza il contesto.
• Input JSON nativi, per passare direttamente dati strutturati delle app.
• Immagini nelle istruzioni delle singole domande, per confrontare più immagini con un riferimento condiviso.
• Fino a 400 domande per richiesta, il doppio rispetto al limite precedente.
• Residenza dell’inferenza negli Stati Uniti e nell’UE, oltre a maggiore capacità in diverse aree dell’Asia.

Come funziona e quanto costa: gli sviluppatori definiscono una domanda e le risposte consentite, forniscono testo, immagini o JSON e ricevono uno di tre tipi di risposta: una probabilità (predicato), una scelta o un punteggio. OpenAI afferma che è basata su GPT-6 Luna ed è disponibile tramite un endpoint Decisions dedicato. Il prezzo indicato è di $0.10 per milione di token in input, $0.01 per milione di token in input memorizzati nella cache e nessun costo per i token in output.

OpenAI cita risultati dei clienti, che sono dati forniti dagli stessi: Box ha registrato una selezione dei percorsi circa 5 volte più veloce in 30 casi di test, con la stessa accuratezza dell’API Responses; Datadog dichiara una latenza p95 40 volte inferiore rispetto ai modelli frontier, con accuratezza comparabile; Ramp dichiara prestazioni 4 volte più veloci e costi inferiori del 30% rispetto a GPT-6 Luna; Sierra dichiara una latenza p95 inferiore a 280 ms e un costo per chiamata inferiore del 90%; Speak dichiara che il tempo necessario per l’azione successiva è sceso da 1,4 s a 0,13 s con GPT-Live.