Mercor опубликовала результаты Inkling 2 Small на APEX: на 13 пунктов выше Inkling в APEX-Agents

Mercor, которая, по её словам, помогала Thinking Machines оценивать Inkling 2 Small перед запуском, сообщила результаты модели в своих рейтингах APEX:

• APEX-Agents: 46,8% Pass@1 и средний балл 60,9% — на 13 пунктов выше, чем у Inkling (33,8% Pass@1, запуск в июле). По направлениям Pass@1 составляет 62,2% в праве (+12,5), 40,3% в управленческом консалтинге (+14,8) и 37,8% в инвестиционном банкинге (+11,5).
• APEX-Accounting: 14,5% Pass@1 и средний балл 62,0%. Mercor называет модель второй среди открытых моделей по результатам в этом рейтинге, уступающей Kimi K3.1 Pro (средний балл 62,4%).

Это данные самой Mercor.