Mercor pubblica i risultati di APEX per Inkling 2 Small: 13 punti in più di Inkling su APEX-Agents

Mercor, che afferma di aver aiutato Thinking Machines a valutare Inkling 2 Small prima del lancio, riporta i punteggi del modello nelle proprie classifiche APEX:

• APEX-Agents: 46,8% di Pass@1 e un punteggio medio del 60,9%, 13 punti in più di Inkling (33,8% di Pass@1, lanciato a luglio). Per settore, il Pass@1 è del 62,2% in ambito legale (+12,5), del 40,3% nella consulenza manageriale (+14,8) e del 37,8% nell'investment banking (+11,5).
• APEX-Accounting: 14,5% di Pass@1 e un punteggio medio del 62,0%. Mercor lo definisce il secondo modello open con il punteggio più alto in questo ambito, dietro a Kimi K3.1 Pro (punteggio medio del 62,4%).

Questi sono dati forniti da Mercor.