OpenAI'ın Decisions API'si artık genel kullanıma sunuldu

OpenAI, 6 Ekim'de herkese açık beta sürümüne giren Decisions API'sinin artık genel kullanıma sunulduğunu söylüyor. OpenAI'ye göre uygulamalar ve ajanlar, tam bir model yanıtı oluşturmadan metinleri ve görselleri sınıflandırmak, girdileri değerlendirmek ve sonraki adımın ne olacağına karar vermek için API'yi kullanabiliyor. OpenAI, beta duyurusunda API'nin Responses API üzerinden GPT-6 Luna'dan 10 kata kadar daha hızlı karar verdiğini belirtmişti.

OpenAI, beta sürümünden bu yana şunları eklediğini söylüyor:

• Yerel GPT-Live entegrasyonu; böylece sesli uygulamalar insanlar konuşurken tepki verebiliyor.
• Bağlamı yeniden kullanırken maliyetleri düşürmek için istem önbelleğe alma.
• Yapılandırılmış uygulama verilerini doğrudan iletmek için yerel JSON girdileri.
• Birden fazla görseli ortak bir referansla karşılaştırmak için tekil soru talimatlarına görsel ekleme.
• İstek başına 400'e kadar soru; önceki sınırın iki katı.
• ABD ve AB'de çıkarım verilerinin ilgili bölgede tutulması ve Asya'daki çeşitli bölgelerde ek kapasite.

Nasıl çalışıyor ve ücreti ne kadar: Geliştiriciler bir soru ve izin verilen yanıtları tanımlıyor, metin, görsel veya JSON sağlıyor ve üç yanıt türünden birini alıyor: olasılık (predicate), seçim veya puan. OpenAI, API'nin GPT-6 Luna ile geliştirildiğini ve özel bir Decisions uç noktası üzerinden sunulduğunu söylüyor. Girdi için milyon token başına 0,10 $, önbelleğe alınmış girdi için milyon token başına 0,01 $ ücret alınıyor; çıktı tokenları için ücret alınmıyor.

OpenAI, müşterilerin kendi verileri olduğunu belirttiği sonuçları aktarıyor: Box, 30 test senaryosunda Responses API ile aynı doğruluğu korurken yönlendirme seçiminin yaklaşık 5 kat hızlandığını gördüğünü; Datadog, benzer doğrulukla frontier modellerine kıyasla p95 süresinin 40 kat daha hızlı olduğunu; Ramp, GPT-6 Luna'ya kıyasla 4 kat daha hızlı ve %30 daha ucuz olduğunu; Sierra, p95 süresinin 280 ms'nin altında ve çağrı başına maliyetin %90 daha düşük olduğunu; Speak ise GPT-Live ile sonraki eyleme kadar geçen sürenin 1,4 sn'den 0,13 sn'ye indiğini bildiriyor.