A Decisions API da OpenAI já está disponível para todos

A OpenAI afirma que sua Decisions API, que entrou em beta público em 6 de outubro, já está disponível para todos. Segundo a OpenAI, apps e agentes podem usá-la para classificar textos e imagens, avaliar entradas e decidir o que acontece em seguida sem gerar uma resposta completa do modelo. No anúncio do beta, a OpenAI afirmou que ela toma decisões até 10x mais rápido que o GPT-6 Luna pela Responses API.

Desde o beta, a OpenAI afirma ter adicionado:

• Integração nativa com GPT-Live, para que apps de voz possam reagir enquanto as pessoas falam.
• Cache de prompts, para reduzir custos ao reutilizar contexto.
• Entradas JSON nativas, para enviar diretamente dados estruturados do app.
• Imagens nas instruções de perguntas individuais, para comparar várias imagens com uma referência compartilhada.
• Até 400 perguntas por solicitação, o dobro do limite anterior.
• Residência de inferência nos EUA e na UE, além de capacidade adicional em várias regiões da Ásia.

Como funciona e quanto custa: os desenvolvedores definem uma pergunta e as respostas permitidas, fornecem texto, imagens ou JSON e recebem um de três tipos de resposta: uma probabilidade (predicado), uma escolha ou uma pontuação. A OpenAI afirma que a API foi desenvolvida com o GPT-6 Luna e está disponível por meio de um endpoint dedicado da Decisions. O preço informado é de US$ 0,10 por milhão de tokens de entrada, US$ 0,01 por milhão para entradas em cache e nenhuma cobrança por tokens de saída.

A OpenAI cita resultados de clientes, que são números fornecidos por eles: a Box observou uma seleção de rotas cerca de 5x mais rápida em 30 casos de teste, com a mesma precisão da Responses API; a Datadog relata p95 40x mais rápido que modelos de ponta, com precisão comparável; a Ramp relata desempenho 4x mais rápido e custo 30% menor que o GPT-6 Luna; a Sierra relata p95 abaixo de 280 ms e custo por chamada 90% menor; a Speak relata que o tempo até a próxima ação caiu de 1,4 s para 0,13 s com o GPT-Live.