AI TrackerPobierz
← Wszystkie wiadomości
GoogleModeleKodowanie

Kernel: Gemini 4 Carbon potrzebował niemal godziny na zadania naprawy błędów, które Opus i Astra wykonują w kilka minut

Kernel, firma przeprowadzająca prywatne ewaluacje modeli kodujących, twierdzi, że w zadaniach polegających na diagnozowaniu i naprawianiu błędów Gemini 4 Carbon potrzebował niemal godziny, podczas gdy Claude Opus 5.5 i GPT-6 Astra — kilku minut. To własne pomiary Kernel, a nie Google; firma przytacza też wypowiedzi użytkowników w mediach społecznościowych, którzy zgłaszają podobne spowolnienia.

Kernel wskazuje trzy przyczyny tej różnicy:

  • Wolniejsze wnioskowanie: każdy krok trwa dłużej; według firmy wyjaśnia to 16–30% dodatkowego czasu w porównaniu z Astrą i 45–49% w porównaniu z Opus.
  • Więcej pracy: Carbon wykonał około siedmiu razy więcej kroków niż Astra, jedenaście razy więcej działań i przetworzył ponad szesnaście razy więcej danych wejściowych. Około połowę kroków poświęcił na zadania, o które zgłoszenie nie prosiło, takie jak audyt kodu wykraczający poza naprawę błędu oraz zabezpieczanie przed przypadkami wykluczonymi w zgłoszeniu.
  • Nieefektywność mechaniczna: około jedno wywołanie narzędzia na krok, w porównaniu z ponad dwoma w przypadku Astry; 39% odczytanych wierszy to te, które model widział już wcześniej, wobec 7% w przypadku Astry. Kernel szacuje, że odpowiada to za mniej więcej jedną czwartą nadmiarowego czasu działania.

Kernel twierdzi, że przyczyną nie jest środowisko testowe (opencode i mini-SWE-agent nie przyniosły istotnych różnic), a przy niskim poziomie wysiłku Carbon często nie potrafił przygotować poprawki. W jednym z ponownych testów, w którym co pięć tur pytano Carbon, czy ma już dość informacji, by wprowadzić poprawkę, zakończył pracę w 28 minut zamiast 37.

Otrzymuj takie wiadomości jako push.

AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.

Pobierz aplikację