Harness Leaderboard confronta nove harness per agenti di coding su modelli open; in testa c’è un agente basato solo su bash

Joel Niklaus ha pubblicato Harness Leaderboard, che confronta nove harness per agenti di coding che utilizzano modelli open. In ogni confronto cambia solo l’harness: modello, provider e livello di ragionamento restano invariati, e ogni attività viene tentata tre volte. Niklaus afferma di aver eseguito 28.849 prove per un costo di inferenza di 4.746 $, usando GLM-5.3-Flash, DeepSeek-V4.1-Flash e Flint su Terminal-Bench 2.1 e DeepSWE. Al 6 novembre, il post aveva 625 punti su X.

Secondo Niklaus, considerando la media dei tre modelli:

• mini-swe-agent, un agente basato solo su bash, risolve il 51,4% delle attività; OpenClaw ne risolve il 27,3%. Altri quattro harness sono statisticamente alla pari con mini-swe-agent.
• Pi, uno dei quattro a pari merito, risolve il 49,4% delle attività al costo di 0,29 $ per attività risolta, circa il 45% in meno rispetto agli 0,53 $ di mini-swe-agent.
• OpenCode costa 3,35 $ per attività risolta, 11,7 volte più di Pi.
• L’harness migliore dipende dal modello: mini-swe-agent con GLM-5.3-Flash, Hermes Agent con DeepSeek-V4.1-Flash e Kimi Code con Flint.

Niklaus segnala inoltre Harness Lens di Harness Hub, che documenta prompt, strumenti e compattazione di 34 harness per agenti di coding e collega ogni affermazione alla relativa fonte.