Harness Leaderboard vergleicht neun Coding-Agent-Harnesses mit offenen Modellen; ein reiner Bash-Agent liegt vorn

Joel Niklaus hat das Harness Leaderboard veröffentlicht, das neun Coding-Agent-Harnesses vergleicht, die offene Modelle ausführen. Bei jedem Vergleich ändert sich nur das Harness: Modell, Anbieter und Reasoning-Aufwand bleiben gleich, und jede Aufgabe wird dreimal versucht. Niklaus zufolge führte er 28.849 Durchläufe für 4.746 $ an Inferenzkosten aus, mit GLM-5.3-Flash, DeepSeek-V4.1-Flash und Flint auf Terminal-Bench 2.1 und DeepSWE. Der Beitrag hatte bis zum 6. November 625 Punkte auf X.

Niklaus zufolge ergeben sich im Durchschnitt über die drei Modelle folgende Werte:

• mini-swe-agent, ein reiner Bash-Agent, löst 51,4 % der Aufgaben; OpenClaw löst 27,3 %. Vier weitere Harnesses liegen statistisch gleichauf mit mini-swe-agent.
• Pi, eines der vier gleichauf liegenden Harnesses, löst 49,4 % der Aufgaben zu Kosten von 0,29 $ pro gelöster Aufgabe – etwa 45 % weniger als die 0,53 $ von mini-swe-agent.
• OpenCode kostet 3,35 $ pro gelöster Aufgabe, also das 11,7-Fache von Pi.
• Welches Harness am besten abschneidet, hängt vom Modell ab: mini-swe-agent bei GLM-5.3-Flash, Hermes Agent bei DeepSeek-V4.1-Flash und Kimi Code bei Flint.

Außerdem verweist er auf Harness Lens von Harness Hub, das die Prompts, Tools und Komprimierungsverfahren von 34 Coding-Agent-Harnesses dokumentiert und jede Aussage mit ihrer Quelle verknüpft.