Mercor publikuje wyniki APEX dla Inkling 2 Small, który wyprzedza Inkling o 13 punktów w APEX-Agents

Mercor, które informuje, że pomogło Thinking Machines ocenić Inkling 2 Small przed jego premierą, podaje wyniki modelu w swoich rankingach APEX:

• APEX-Agents: 46,8% Pass@1 i średni wynik 60,9% — o 13 punktów więcej niż Inkling (33,8% Pass@1, premiera w lipcu). Wyniki Pass@1 w poszczególnych dziedzinach: 62,2% w prawie (+12,5), 40,3% w doradztwie zarządczym (+14,8) i 37,8% w bankowości inwestycyjnej (+11,5).
• APEX-Accounting: 14,5% Pass@1 i średni wynik 62,0%. Według Mercor to drugi najwyżej oceniany tam model open, za Kimi K3.1 Pro (średni wynik 62,4%).

To dane podane przez Mercor.