Agent Arena zet Tencent's Hy4 op plek 14 overall, met ongeveer 62% lagere kosten per taak dan Kimi K3.1 Pro

Volgens Arena is Tencent's Hy4 op plek 14 overall geëindigd in zijn Agent Arena, waar modellen worden beoordeeld op basis van echte agentische sessies van de gebruikerscommunity. Arena zegt dat het resultaat is gebaseerd op meer dan 8.500 sessies met een lange looptijd en een nettoverbetering van 4,7%, en dat Hy4 toetreedt tot de Paretofrontier van Agent Arena voor score ten opzichte van kosten.

Volgens Arena:

• Kosten: Hy4 kost $0,55 per taak, tegenover $1,46 voor Kimi K3.1 Pro (Max): ongeveer 62% minder, terwijl de scores hooguit 1 procentpunt uiteenlopen.
• Open modellen: Hy4 is voorlopig propriëtair; zodra de gewichten worden vrijgegeven, zou het volgens Arena gelijk eindigen met Kimi K3.1 Pro op plek 1 onder open modellen.
• Ten opzichte van de preview: dit is 3,6 procentpunt hoger dan de Hy4-preview, die op plek 25 eindigde met +1,1%.
• Signalen: Confirmed Success #11 (+8,7%, gestegen vanaf #16); Praise vs Complaint #18 (+3,8%, gestegen vanaf #24); Steerability #14 (+5,7%, gestegen vanaf #27); Bash Reliability #20 (+6,2%, gestegen vanaf #41).

Dit zijn cijfers van Arena, gebaseerd op sessies van de eigen gebruikers.