Artificial Analysis menjadikan Waktu per Tugas sebagai metrik utama dalam tolok ukur performa API-nya

Artificial Analysis mengumumkan versi baru tolok ukur performa API-nya, yang mencakup sekitar 1.000 endpoint serverless yang diuji beberapa kali sehari untuk mengukur kecepatan, latensi, dan caching. Waktu per Tugas—lama waktu yang dibutuhkan model untuk menyelesaikan tugas—menggantikan kecepatan streaming sebagai metrik utama. Artificial Analysis membagi jumlah token output model untuk setiap tugas Intelligence Index dengan Kecepatan Output End-to-End-nya.

Perubahan yang dicantumkan:

• Kecepatan Output End-to-End kini diukur sejak permintaan dikirim hingga token terakhir, sehingga waktu tunggu sebelum token pertama (prefill dan penalaran tersembunyi) ikut dihitung. Jumlah token output diambil dari jumlah yang dilaporkan API masing-masing penyedia, bukan tokenizer o200k_base. Dalam balasan, mereka menambahkan bahwa permintaan yang gagal kini dihitung dengan kecepatan 0.
• Beban kerja agentik disertakan dalam setiap pengukuran: prompt pendek, sepanjang dokumen, dan konteks panjang, serta sesi coding dan pekerjaan pengetahuan multigilir. Angka utama merupakan rata-rata selama 5 hari terakhir.
• Upaya default API diukur bersama upaya tertinggi, dengan menggunakan setelan default masing-masing lab, karena nama tingkat upaya tidak dapat dibandingkan antar-lab.

Temuan Artificial Analysis:

• Model OpenAI mendominasi sebagian besar frontier Pareto Intelligence vs. Waktu per Tugas. Pada upaya maksimum, GPT-6 Astra berjalan pada 51 token/detik, tetapi menyelesaikan tugas dalam sekitar 17 menit, dibandingkan sekitar 26 menit untuk Claude Opus 5.5 (111 token/detik) dan sekitar 29 menit untuk Gemini 4 Carbon (71 token/detik), karena GPT-6 Astra menggunakan sekitar 50 ribu token output per tugas, sedangkan yang lain sekitar 120 ribu hingga 170 ribu.
• Upaya default memangkas Waktu per Tugas sekitar 3 hingga 5 kali dan Biaya per Tugas sekitar 2 hingga 4 kali untuk GPT-6 Astra, GPT-6.1 Sol, dan Claude Opus 5.5, yang semuanya menggunakan upaya medium sebagai default, dengan konsekuensi penurunan sekitar 5 hingga 11 poin Intelligence Index. Claude Opus 5.5 turun dari sekitar 26 menit dan $10.04 per tugas pada upaya maksimum menjadi sekitar 6,8 menit dan $2.45 pada tingkat medium.
• Endpoint yang hanya dioptimalkan untuk kecepatan decode mengalami penurunan Kecepatan Output End-to-End terbesar; menurut mereka, endpoint GLM-5.3 dengan streaming tercepat membutuhkan 18 hingga 26 detik untuk menghasilkan token pertama.

Ini adalah hasil pengukuran Artificial Analysis sendiri.