Kernel: Gemini 4 Carbon nyaris membutuhkan satu jam untuk tugas perbaikan bug yang diselesaikan Opus dan Astra dalam hitungan menit
Kernel, perusahaan yang menjalankan evaluasi coding privat, mengatakan bahwa pada tugas diagnosis dan perbaikan bug, Gemini 4 Carbon membutuhkan nyaris satu jam, sementara Claude Opus 5.5 dan GPT-6 Astra hanya membutuhkan beberapa menit. Ini adalah pengukuran Kernel sendiri, bukan Google, dan Kernel mengutip pengguna di media sosial yang melaporkan kelambatan serupa.
Kernel mengaitkan kesenjangan ini dengan tiga penyebab:
- Inferensi lebih lambat: setiap langkah membutuhkan waktu lebih lama; menurut Kernel, hal ini menjelaskan 16–30% dari waktu ekstra dibandingkan Astra dan 45–49% dibandingkan Opus.
- Lebih banyak pekerjaan: Carbon mengambil sekitar tujuh kali lebih banyak langkah daripada Astra, sebelas kali lebih banyak tindakan, dan memproses lebih dari enam belas kali lebih banyak input. Sekitar separuh langkahnya digunakan untuk pekerjaan yang tidak diminta dalam tiket, seperti mengaudit kode di luar bug dan mengantisipasi kasus yang sudah dikecualikan oleh tiket.
- Inefisiensi mekanis: sekitar satu panggilan alat per langkah, dibandingkan lebih dari dua untuk Astra; 39% baris yang dibacanya sudah pernah dilihat, dibandingkan 7% untuk Astra. Kernel memperkirakan hal ini menyumbang sekitar seperempat dari kelebihan waktu eksekusi.
Kernel mengatakan bahwa harness bukanlah penyebabnya (opencode dan mini-SWE-agent tidak menunjukkan perbedaan berarti), dan bahwa pada tingkat usaha rendah, Carbon sering gagal menghasilkan perbaikan. Dalam pengujian ulang yang menanyakan kepada Carbon setiap lima giliran apakah informasinya sudah cukup untuk membuat perbaikan, Carbon selesai dalam 28 menit, bukan 37 menit.
Sumber
- Mengapa Gemini 4 Carbon membutuhkan waktu begitu lama?Hacker News · 42 komentar
Dapatkan berita seperti ini lewat push.
AI Tracker memberi tahu Anda saat ada perubahan pada alat yang Anda pakai.