Mercor publiceert APEX-resultaten voor Inkling 2 Small, 13 punten hoger dan Inkling op APEX-Agents

Mercor, dat zegt Thinking Machines te hebben geholpen Inkling 2 Small vóór de lancering te evalueren, deelt de scores van het model op de APEX-leaderboards:

• APEX-Agents: 46,8% Pass@1 en een gemiddelde score van 60,9%, 13 punten hoger dan Inkling (33,8% Pass@1, gelanceerd in juli). Per domein bedraagt Pass@1 62,2% in Law (+12,5), 40,3% in Management Consulting (+14,8) en 37,8% in Investment Banking (+11,5).
• APEX-Accounting: 14,5% Pass@1 en een gemiddelde score van 62,0%. Mercor noemt het daar het op één na best scorende open model, achter Kimi K3.1 Pro (gemiddelde score: 62,4%).

Dit zijn de eigen cijfers van Mercor.