Mercor publie les résultats d’APEX pour Inkling 2 Small, en hausse de 13 points par rapport à Inkling sur APEX-Agents

Mercor, qui indique avoir aidé Thinking Machines à évaluer Inkling 2 Small avant son lancement, publie les scores du modèle dans ses classements APEX :

• APEX-Agents : 46,8 % de Pass@1 et un score moyen de 60,9 %, soit 13 points de plus qu’Inkling (33,8 % de Pass@1, lancé en juillet). Par domaine, le Pass@1 atteint 62,2 % en droit (+12,5), 40,3 % en conseil en management (+14,8) et 37,8 % en banque d’investissement (+11,5).
• APEX-Accounting : 14,5 % de Pass@1 et un score moyen de 62,0 %. Mercor le qualifie de deuxième modèle ouvert le mieux classé sur ce benchmark, derrière Kimi K3.1 Pro (62,4 % de score moyen).

Il s’agit des propres chiffres de Mercor.