Mercor发布Inkling 2 Small的APEX成绩,在APEX-Agents上比Inkling高13个百分点
Mercor表示,曾在Inkling 2 Small发布前协助Thinking Machines评估该模型,并公布了它在APEX排行榜上的成绩:
- APEX-Agents:Pass@1为46.8%,平均分为60.9%,比Inkling高13个百分点(Inkling的Pass@1为33.8%,于7月发布)。按领域划分,法律领域的Pass@1为62.2%(+12.5),管理咨询领域为40.3%(+14.8),投资银行领域为37.8%(+11.5)。
- APEX-Accounting:Pass@1为14.5%,平均分为62.0%。Mercor称,它是该榜单上得分第二高的开放模型,仅次于Kimi K3.1 Pro(平均分62.4%)。
这些数据由Mercor自行提供。
来源
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。