Kernel: Gemini 4 Carbon hata düzeltme görevlerinde Opus ve Astra’nın dakikalar içinde tamamladığı işleri neredeyse bir saatte bitirdi
Özel kodlama değerlendirmeleri yapan Kernel şirketi, hata teşhis ve düzeltme görevlerinde Gemini 4 Carbon’un Claude Opus 5.5 ve GPT-6 Astra’nın birkaç dakikada tamamladığı işleri neredeyse bir saatte bitirdiğini söylüyor. Bunlar Google’ın değil, Kernel’ın kendi ölçümleri; şirket ayrıca sosyal medyada aynı yavaşlıktan söz eden kullanıcılardan alıntılar yapıyor.
Kernel, aradaki farkı üç nedene bağlıyor:
- Daha yavaş çıkarım: Her adım daha uzun sürüyor; Kernel bunun Astra’ya kıyasla fazladan sürenin %16–30’unu, Opus’a kıyasla ise %45–49’unu açıkladığını söylüyor.
- Daha fazla iş: Carbon, Astra’nın yaklaşık yedi katı adım ve on bir katı eylem gerçekleştirdi, ayrıca on altı kattan fazla girdi işledi. Adımlarının yaklaşık yarısı, hatanın ötesindeki kodu denetlemek ve görev kaydının kapsam dışında bıraktığı durumlara karşı önlem almak gibi, görev kaydında istenmeyen işlere ayrıldı.
- Mekanik verimsizlikler: Astra’daki ikiden fazla araca karşılık her adımda yaklaşık bir araç çağrısı yapıldı; okuduğu satırların %39’u daha önce gördüğü satırlardı (Astra’da bu oran %7). Kernel, bunların çalışma süresindeki fazlalığın yaklaşık dörtte birini oluşturduğunu tahmin ediyor.
Kernel, test düzeneğinin sorunun kaynağı olmadığını (opencode ve mini-SWE-agent anlamlı bir fark yaratmadı) ve düşük çaba düzeyinde Carbon’un çoğu zaman düzeltme üretemediğini söylüyor. Carbon’a her beş turda bir düzeltmeyi yapmaya yetecek bilgiye sahip olup olmadığı sorulan bir yeniden denemede, model işi 37 dakika yerine 28 dakikada tamamladı.
Kaynaklar
- Gemini 4 Carbon neden bu kadar uzun sürüyor?Hacker News · 42 yorum
Bu tür haberleri bildirim olarak alın.
Kullandığınız araçlarda bir şey değiştiğinde AI Tracker sizi uyarır.