Mercor, Inkling 2 Small의 APEX 결과 공개… APEX-Agents에서 Inkling보다 13포인트 상승

Inkling 2 Small 출시를 앞두고 Thinking Machines의 평가를 지원했다고 밝힌 Mercor가 APEX 리더보드에서 이 모델의 점수를 공개했습니다.

• APEX-Agents: Pass@1 46.8%, 평균 점수 60.9%로, Inkling(출시 당시 Pass@1 33.8%, 7월 출시)보다 13포인트 높습니다. 분야별 Pass@1은 법률 62.2%(+12.5), 경영 컨설팅 40.3%(+14.8), 투자은행 37.8%(+11.5)입니다.
• APEX-Accounting: Pass@1 14.5%, 평균 점수 62.0%입니다. Mercor는 Kimi K3.1 Pro(평균 점수 62.4%)에 이어 두 번째로 높은 점수를 기록한 오픈 모델이라고 밝혔습니다.

이 수치는 Mercor가 자체적으로 공개한 것입니다.