Artificial Analysis: Sunucusuz uç noktaların yaklaşık dörtte biri, Endpoint Accuracy Index v1.1’de referansın altında puan alıyor

Artificial Analysis, açık ağırlıklı bir modelin her sunucusuz uç noktasını, resmî ağırlıkların kendi sunucularında barındırılan referans dağıtımına kıyasla yüzde olarak puanlayan Endpoint Accuracy Index’in v1.1 sürümünü yayımladı. Puan; araç çağırma (BFCL-500), bilimsel akıl yürütme (HLE-250) ve uzun bağlam hatırlama (AA-LCR-25) ölçütlerine eşit ağırlık veriyor. Kıyasladığı 100’den fazla uç noktanın yaklaşık dörtte birinin referansın altında puan aldığını belirtiyor.

Artificial Analysis’e göre v1.1’de neler değişti:

• AA-LCR-25, AA-LCR v1.1’e geçiyor. Bu sürüm, yanıt anahtarı hatalarını düzeltiyor ve puanlamayı GPT-5.6 Luna (medium) modeline taşıyor. Her soru artık 10 yerine 25 kez çalıştırılıyor; böylece ortalama %95 güven aralığı ±4,7 puandan ±2,6 puana düşüyor.
• Kapsam altı modele genişliyor: GLM-5.3 Flash (max) ve Meta’nın Muse Spark Open (xhigh) modelleri, DeepSeek V4.1 Flash 1017 (max), GLM-5.3 (max), Kimi K3 (max) ve gpt-oss-120b’ye (high) katılıyor.

Bulguları:

• GLM-5.3 Flash: 22 uç noktanın 16’sı istatistiksel olarak referansla uyumlu; biri ise referansın üzerinde puan alıyor (104,2). Çıktı belirteç sınırı yaklaşık 32K olan iki uç noktada HLE-250 yanıtlarının yaklaşık yarısı kesiliyor ve bu uç noktalar, referansın %55’lik puanına karşılık %22 ve %29 puan alıyor. Diğer iki uç nokta yaklaşık %30 daha az akıl yürütme belirteci üretiyor ve %48 puan alıyor.
• Muse Spark Open: Beş uç noktanın üçü referansla eşleşiyor (99,5–99,9); bunlardan biri FP4 ağırlıklarıyla hizmet veriyor. Diğer ikisi yalnızca araç çağırma doğruluğunda geriliyor: araç tanımında metin olarak belirtilen rezervasyon kimlikleri gibi bağımsız değişkenleri sayı olarak döndürüyorlar. BFCL-500 puanları %50 ve %51; referansın puanı ise %59.
• GLM-5.3: 26 uç noktanın puanları 67,2 ile 99,3 arasında; 16’sı referansla uyumlu, 10’u altında. Artificial Analysis, en büyük farkların çıktı belirteç sınırları ve akıl yürütme döngülerinden kaynaklandığını, nicelemenin neden olmadığını söylüyor: altı FP4 uç noktasının beşi FP8 referansıyla uyumlu.
• DeepSeek V4.1 Flash 1017: 22 uç noktanın tamamı referansla uyumlu (97,5–101,4). 3,9 puanlık aralık, onu dizindeki en tutarlı model yapıyor.