Mercor 公布 Inkling 2 Small 的 APEX 成績,在 APEX-Agents 上比 Inkling 高 13 個百分點
Mercor 表示曾協助 Thinking Machines 在 Inkling 2 Small 發布前進行評估,並公布該模型在其 APEX 排行榜上的成績:
- APEX-Agents:Pass@1 為 46.8%,平均分數為 60.9%,比 Inkling 高 13 個百分點(Pass@1 為 33.8%,於 7 月發布)。依領域來看,法律的 Pass@1 為 62.2%(+12.5)、管理顧問為 40.3%(+14.8),投資銀行為 37.8%(+11.5)。
- APEX-Accounting:Pass@1 為 14.5%,平均分數為 62.0%。Mercor 稱,這是該排行榜上得分第二高的開源模型,僅次於 Kimi K3.1 Pro(平均分數 62.4%)。
以上數據為 Mercor 自行公布。
來源
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。