Mercor ने Inkling 2 Small के APEX नतीजे प्रकाशित किए; APEX-Agents पर Inkling से 13 अंक आगे

Mercor, जिसने बताया कि उसने लॉन्च से पहले Thinking Machines को Inkling 2 Small का मूल्यांकन करने में मदद की, अपने APEX लीडरबोर्ड पर मॉडल के स्कोर साझा करता है:

• APEX-Agents: 46.8% Pass@1 और 60.9% औसत स्कोर, जो Inkling (33.8% Pass@1, जुलाई में लॉन्च) से 13 अंक अधिक है। डोमेन के अनुसार, Pass@1 का स्कोर Law में 62.2% (+12.5), Management Consulting में 40.3% (+14.8) और Investment Banking में 37.8% (+11.5) है।
• APEX-Accounting: 14.5% Pass@1 और 62.0% औसत स्कोर। Mercor इसे वहाँ दूसरा सबसे अधिक स्कोर करने वाला ओपन मॉडल बताता है; Kimi K3.1 Pro इससे आगे है (62.4% औसत स्कोर)।

ये Mercor के अपने आँकड़े हैं।