Kernel : Gemini 4 Carbon a mis près d’une heure pour des tâches de correction de bugs qu’Opus et Astra terminent en quelques minutes
Kernel, une entreprise qui réalise des évaluations privées de modèles de programmation, affirme que, pour des tâches de diagnostic et de correction de bugs, Gemini 4 Carbon a mis près d’une heure, contre quelques minutes pour Claude Opus 5.5 et GPT-6 Astra. Il s’agit des propres mesures de Kernel, et non de celles de Google. L’entreprise cite également des utilisateurs sur les réseaux sociaux qui signalent la même lenteur.
Selon Kernel, cet écart s’explique par trois facteurs :
- Une inférence plus lente : chaque étape prend plus de temps, ce qui expliquerait, selon l’entreprise, 16 à 30 % du temps supplémentaire par rapport à Astra et 45 à 49 % par rapport à Opus.
- Davantage de travail : Carbon a effectué environ sept fois plus d’étapes qu’Astra, onze fois plus d’actions et traité plus de seize fois plus de données en entrée. Environ la moitié de ses étapes ont été consacrées à des tâches qui ne figuraient pas dans le ticket, comme auditer du code au-delà du bug et se prémunir contre des cas que le ticket excluait.
- Des inefficacités mécaniques : environ un appel d’outil par étape, contre plus de deux pour Astra ; et 39 % des lignes lues avaient déjà été vues, contre 7 % pour Astra. Kernel estime que ces facteurs représentent environ un quart du temps d’exécution supplémentaire.
Kernel affirme que le problème ne vient pas du harnais d’évaluation (opencode et mini-SWE-agent n’ont entraîné aucune différence notable) et que, avec un faible niveau d’effort, Carbon échouait souvent à produire une correction. Lors d’un nouvel essai où l’on demandait à Carbon tous les cinq tours s’il avait assez d’informations pour apporter la correction, il a terminé en 28 minutes au lieu de 37.
Sources
- Pourquoi Gemini 4 Carbon met-il autant de temps ?Hacker News · 42 commentaires
Recevez ce genre d'actus en notification.
AI Tracker vous prévient dès que quelque chose change pour les outils que vous utilisez.