Mercor, Inkling 2 Small için APEX sonuçlarını yayımladı; APEX-Agents'ta Inkling'e göre 13 puanlık artış

Inkling 2 Small'ın lansmanından önce Thinking Machines'in modeli değerlendirmesine yardımcı olduğunu belirten Mercor, modelin APEX liderlik tablolarındaki puanlarını paylaşıyor:

• APEX-Agents: %46,8 Pass@1 ve ortalama %60,9 puan; temmuzda piyasaya sürülen Inkling'den ( %33,8 Pass@1) 13 puan daha yüksek. Alanlara göre Pass@1 oranı Hukukta %62,2 (+12,5), Yönetim Danışmanlığında %40,3 (+14,8) ve Yatırım Bankacılığında %37,8 (+11,5).
• APEX-Accounting: %14,5 Pass@1 ve ortalama %62,0 puan. Mercor, Kimi K3.1 Pro'nun (%62,4 ortalama puan) ardından burada en yüksek puanı alan ikinci açık model olduğunu söylüyor.

Bunlar Mercor'un kendi verileridir.