Artificial Analysis, API performans kıyaslamalarında Görev Başına Süre'yi ana metrik olarak öne çıkarıyor

Artificial Analysis, hız, gecikme ve önbellekleme açısından günde birkaç kez test ettiği yaklaşık 1.000 sunucusuz uç noktayı kapsayan API performansı kıyaslamasının yeni bir sürümünü duyurdu. Bir modelin görevi tamamlamasının ne kadar sürdüğünü ölçen Görev Başına Süre, ana metrik olarak akış hızının yerini alıyor. Artificial Analysis, her Intelligence Index görevi için bir modelin çıktı token sayısını Uçtan Uca Çıktı Hızı'na bölüyor.

Listelenen değişiklikler:

• Uçtan Uca Çıktı Hızı artık istek gönderilmesinden son token'a kadar ölçülüyor; böylece ilk token'dan önceki bekleme süresi (prefill ve gizli akıl yürütme) de hesaba katılıyor. Çıktı token'ları, o200k_base tokenizer yerine her sağlayıcının API'sinde bildirilen sayılardan alınıyor. Bir yanıtta, başarısız isteklerin artık hızının 0 sayıldığını da belirtiyor.
• Agentic iş yükleri her ölçüme dahil ediliyor: kısa, belge uzunluğunda ve uzun bağlamlı istemlerin yanı sıra çok turlu kodlama ve bilgi işi oturumları. Ana göstergeler, son 5 günün ortalamasını alıyor.
• API varsayılan çabası, çaba düzeylerinin adları laboratuvarlar arasında karşılaştırılabilir olmadığı için her laboratuvarın kendi varsayılanı kullanılarak en yüksek çabayla birlikte kıyaslanıyor.

Artificial Analysis'ın bulguları:

• Intelligence ile Görev Başına Süre arasındaki Pareto sınırının büyük bölümünü OpenAI modelleri oluşturuyor. GPT-6 Astra, en yüksek çaba düzeyinde 51 token/sn hızla çalışıyor ancak bir görevi yaklaşık 17 dakikada tamamlıyor. Claude Opus 5.5 yaklaşık 26 dakika (111 token/sn), Gemini 4 Carbon ise yaklaşık 29 dakika (71 token/sn) sürüyor; bunun nedeni GPT-6 Astra'nın görev başına yaklaşık 50 bin çıktı token'ı kullanması, diğerlerinin ise yaklaşık 120 bin ila 170 bin kullanması.
• Varsayılan çaba düzeyi, varsayılan olarak orta çabayı kullanan GPT-6 Astra, GPT-6.1 Sol ve Claude Opus 5.5 için Görev Başına Süre'yi yaklaşık 3 ila 5 kat, Görev Başına Maliyet'i ise yaklaşık 2 ila 4 kat düşürüyor; bunun karşılığında Intelligence Index puanı yaklaşık 5 ila 11 puan azalıyor. Claude Opus 5.5'in görev başına süresi ve maliyeti, en yüksek çaba düzeyindeki yaklaşık 26 dakika ve 10,04 dolardan orta çaba düzeyinde yaklaşık 6,8 dakika ve 2,45 dolara düşüyor.
• Yalnızca çözümleme hızına göre ayarlanan uç noktalar, Uçtan Uca Çıktı Hızı'nda en büyük düşüşü yaşıyor; açıklamaya göre akışı en hızlı gerçekleştiren GLM-5.3 uç noktalarının ilk token'a ulaşması 18 ila 26 saniye sürüyor.

Bunlar Artificial Analysis'ın kendi ölçümleridir.