Harness Leaderboard vergelijkt negen harnesses voor codeeragents op open modellen; een agent die alleen bash gebruikt staat bovenaan

Joel Niklaus heeft de Harness Leaderboard uitgebracht, waarin negen harnesses voor codeeragents worden vergeleken die open modellen draaien. In elke vergelijking verandert alleen de harness: het model, de provider en de redeneerinspanning blijven gelijk, en elke taak krijgt drie pogingen. Niklaus zegt dat hij 28.849 tests heeft uitgevoerd, voor $4.746 aan inferencekosten, met GLM-5.3-Flash, DeepSeek-V4.1-Flash en Flint op Terminal-Bench 2.1 en DeepSWE. Op 6 november had het bericht 625 punten op X.

Volgens Niklaus, gemiddeld over de drie modellen:

• mini-swe-agent, een agent die alleen bash gebruikt, lost 51,4% van de taken op; OpenClaw lost 27,3% op. Vier andere harnesses zijn statistisch gelijk aan mini-swe-agent.
• Pi, een van die vier, lost 49,4% van de taken op voor $0,29 per opgeloste taak, ongeveer 45% minder dan de $0,53 van mini-swe-agent.
• OpenCode kost $3,35 per opgeloste taak, 11,7 keer zoveel als Pi.
• De beste harness hangt af van het model: mini-swe-agent voor GLM-5.3-Flash, Hermes Agent voor DeepSeek-V4.1-Flash en Kimi Code voor Flint.

Hij wijst ook op Harness Lens van Harness Hub, dat de prompts, tools en contextcompressie van 34 harnesses voor codeeragents documenteert en elke bewering naar de bron linkt.