Artificial Analysis: hampir 1 dari 4 endpoint serverless mendapat skor di bawah acuan pada Endpoint Accuracy Index v1.1

Artificial Analysis merilis Endpoint Accuracy Index v1.1, yang menilai setiap endpoint serverless dari model dengan bobot terbuka sebagai persentase terhadap deployment acuan yang di-host sendiri menggunakan bobot resmi. Skor tersebut memberi bobot yang sama pada pemanggilan tool (BFCL-500), penalaran ilmiah (HLE-250), dan pengingatan konteks panjang (AA-LCR-25). Dari lebih dari 100 endpoint yang diuji, Artificial Analysis menyebut hampir 1 dari 4 mendapat skor di bawah acuan.

Perubahan di v1.1, menurut Artificial Analysis:

• AA-LCR-25 beralih ke AA-LCR v1.1, yang memperbaiki kesalahan kunci jawaban dan mengganti penilaian ke GPT-5.6 Luna (medium). Kini setiap pertanyaan dijalankan 25 kali, bukan 10 kali, sehingga rata-rata interval kepercayaan 95% menyusut dari ±4,7 menjadi ±2,6 poin.
• Cakupan bertambah menjadi enam model: GLM-5.3 Flash (max) dan Muse Spark Open dari Meta (xhigh) bergabung dengan DeepSeek V4.1 Flash 1017 (max), GLM-5.3 (max), Kimi K3 (max), dan gpt-oss-120b (high).

Temuannya:

• GLM-5.3 Flash: 16 dari 22 endpoint secara statistik setara dengan acuan dan satu mendapat skor lebih tinggi (104,2). Dua endpoint dengan batas sekitar 32K token keluaran memotong kira-kira separuh respons HLE-250 dan mendapat skor 22% dan 29%, dibandingkan 55% untuk acuan. Dua endpoint lainnya menghasilkan sekitar 30% lebih sedikit token penalaran dan mendapat skor 48%.
• Muse Spark Open: tiga dari lima endpoint setara dengan acuan (99,5 hingga 99,9), termasuk satu endpoint yang menyajikan bobot FP4. Dua endpoint lainnya hanya kehilangan akurasi pada pemanggilan tool: keduanya mengembalikan argumen yang didefinisikan tool sebagai teks, seperti ID pemesanan, dalam bentuk angka (50% dan 51% pada BFCL-500, dibandingkan 59%).
• GLM-5.3: 26 endpoint mendapat skor 67,2 hingga 99,3; 16 setara dengan acuan dan 10 berada di bawahnya. Artificial Analysis menyebut kesenjangan terbesar disebabkan oleh batas token keluaran dan loop penalaran, bukan kuantisasi; lima dari enam endpoint FP4 setara dengan acuan FP8.
• DeepSeek V4.1 Flash 1017: seluruh 22 endpoint setara dengan acuan (97,5 hingga 101,4), dengan rentang 3,9 poin yang menjadikannya model paling konsisten dalam indeks.