Le classement APEX-Agents de Mercor place Gemini 4 Carbon en tête, seul modèle avec une moyenne supérieure à 90 %
Mercor, qui publie le benchmark APEX-Agents, indique que Gemini 4 Carbon fait ses débuts à la première place de son classement. Il s’agit des propres mesures de Mercor. APEX-Agents évalue des tâches complexes en plusieurs étapes, réalisées sur une longue durée et issues de la banque d’investissement, du conseil en management et du droit des sociétés.
- Gemini 4 Carbon : 84,2 % en Pass@1, 90,4 % de moyenne, seul modèle du classement avec une moyenne supérieure à 90 %.
- Gemini 4 Argon : 82,4 % en Pass@1, 87,4 % de moyenne.
- Claude Sonnet 5.5 : 75,5 % en Pass@1, 83,7 % de moyenne.
Par domaine, Carbon est en tête du conseil en management (91,9 % en Pass@1) et de la banque d’investissement (86,9 %), et arrive deuxième en droit des sociétés (73,8 %), où Argon domine avec 76,7 %.
Sources
Recevez ce genre d'actus en notification.
AI Tracker vous prévient dès que quelque chose change pour les outils que vous utilisez.