MercorがInkling 2 SmallのAPEX成績を公開、APEX-AgentsでInklingを13ポイント上回る

Inkling 2 Smallのローンチに先立ち、Thinking Machinesの評価を支援したとするMercorが、同モデルのAPEXリーダーボードでのスコアを発表しました。

• APEX-Agents: Pass@1は46.8%、平均スコアは60.9%で、Inkling（Pass@1は33.8%、7月にローンチ）を13ポイント上回りました。分野別のPass@1は、法律が62.2%（+12.5）、経営コンサルティングが40.3%（+14.8）、投資銀行が37.8%（+11.5）です。
• APEX-Accounting: Pass@1は14.5%、平均スコアは62.0%。Mercorによると、同分野で2番目に高いスコアを記録したオープンモデルで、Kimi K3.1 Pro（平均スコア62.4%）に次ぐ成績です。

これらはMercor独自の数値です。