Harness Leaderboard porównuje dziewięć środowisk agentów programistycznych działających na otwartych modelach; najlepszy jest agent korzystający wyłącznie z bash

Joel Niklaus opublikował Harness Leaderboard, który porównuje dziewięć środowisk agentów programistycznych działających na otwartych modelach. W każdym porównaniu zmienia się tylko środowisko: model, dostawca i poziom zaangażowania w rozumowanie pozostają takie same, a każde zadanie ma trzy próby. Niklaus twierdzi, że przeprowadził 28 849 testów za 4 746 USD kosztów wnioskowania, korzystając z GLM-5.3-Flash, DeepSeek-V4.1-Flash i Flint na Terminal-Bench 2.1 oraz DeepSWE. Do 6 listopada post uzyskał 625 punktów na X.

Według Niklausa średnia dla trzech modeli wygląda następująco:

• mini-swe-agent, agent korzystający wyłącznie z bash, rozwiązuje 51,4% zadań; OpenClaw — 27,3%. Cztery inne środowiska są statystycznie na równi z mini-swe-agent.
• Pi, jedno z tych czterech środowisk, rozwiązuje 49,4% zadań przy koszcie 0,29 USD za rozwiązane zadanie, czyli o około 45% mniej niż 0,53 USD w przypadku mini-swe-agent.
• OpenCode kosztuje 3,35 USD za rozwiązane zadanie, czyli 11,7 razy więcej niż Pi.
• Najlepsze środowisko zależy od modelu: mini-swe-agent w przypadku GLM-5.3-Flash, Hermes Agent w przypadku DeepSeek-V4.1-Flash, a Kimi Code w przypadku Flint.

Wskazuje też na Harness Lens od Harness Hub, które dokumentuje prompty, narzędzia i kompakcję w 34 środowiskach agentów programistycznych oraz zawiera link do źródła przy każdym twierdzeniu.