Decisions API của OpenAI hiện đã được cung cấp rộng rãi

OpenAI cho biết Decisions API, vốn bắt đầu giai đoạn beta công khai vào ngày 6 tháng 10, hiện đã được cung cấp rộng rãi. Theo OpenAI, ứng dụng và tác nhân có thể dùng API này để phân loại văn bản và hình ảnh, đánh giá dữ liệu đầu vào và quyết định bước tiếp theo mà không cần tạo ra phản hồi hoàn chỉnh từ mô hình. Trong thông báo beta, OpenAI cho biết API đưa ra quyết định nhanh hơn tới 10 lần so với GPT-6 Luna thông qua Responses API.

Kể từ khi ra mắt beta, OpenAI cho biết họ đã bổ sung:

• Tích hợp GPT-Live gốc, để ứng dụng giọng nói có thể phản hồi khi mọi người đang nói.
• Bộ nhớ đệm prompt, giúp giảm chi phí khi tái sử dụng ngữ cảnh.
• Đầu vào JSON gốc, để truyền trực tiếp dữ liệu ứng dụng có cấu trúc.
• Hình ảnh trong hướng dẫn cho từng câu hỏi, giúp so sánh nhiều hình ảnh với cùng một ảnh tham chiếu.
• Tối đa 400 câu hỏi mỗi yêu cầu, gấp đôi giới hạn trước đó.
• Lưu trú suy luận tại Mỹ và EU, cùng năng lực bổ sung ở một số khu vực tại châu Á.

Cách hoạt động và chi phí: nhà phát triển xác định một câu hỏi cùng các câu trả lời được phép, cung cấp văn bản, hình ảnh hoặc JSON, rồi nhận về một trong ba kiểu câu trả lời: xác suất (predicate), lựa chọn hoặc điểm số. OpenAI cho biết API được xây dựng bằng GPT-6 Luna và cung cấp qua một endpoint Decisions riêng. Mức giá là 0,10 USD cho mỗi triệu token đầu vào, 0,01 USD cho mỗi triệu token đầu vào được lưu trong bộ nhớ đệm và không tính phí token đầu ra.

OpenAI trích dẫn kết quả từ khách hàng; đây là số liệu do chính họ cung cấp: Box đạt tốc độ chọn tuyến nhanh hơn khoảng 5 lần trên 30 trường hợp kiểm thử với độ chính xác tương đương Responses API; Datadog báo cáo p95 nhanh hơn 40 lần so với các mô hình hàng đầu với độ chính xác tương đương; Ramp báo cáo nhanh hơn 4 lần và rẻ hơn 30% so với GPT-6 Luna; Sierra báo cáo p95 dưới 280 ms và chi phí mỗi lệnh gọi giảm 90%; Speak báo cáo thời gian đến hành động tiếp theo giảm từ 1,4 giây xuống 0,13 giây với GPT-Live.