Le Harness Leaderboard compare neuf harnesses d’agents de codage sur des modèles ouverts ; un agent reposant uniquement sur bash arrive en tête

Joel Niklaus a publié le Harness Leaderboard, qui compare neuf harnesses d’agents de codage exécutés sur des modèles ouverts. Dans chaque comparaison, seul le harness change : le modèle, le fournisseur et l’effort de raisonnement restent identiques, et chaque tâche fait l’objet de trois tentatives. Niklaus affirme avoir mené 28 849 essais pour 4 746 $ de coûts d’inférence, avec GLM-5.3-Flash, DeepSeek-V4.1-Flash et Flint sur Terminal-Bench 2.1 et DeepSWE. Au 6 novembre, la publication avait recueilli 625 points sur X.

Selon Niklaus, en moyenne sur les trois modèles :

• mini-swe-agent, un agent reposant uniquement sur bash, réussit 51,4 % des tâches ; OpenClaw en réussit 27,3 %. Quatre autres harnesses sont statistiquement à égalité avec mini-swe-agent.
• Pi, l’un des quatre ex æquo, réussit 49,4 % des tâches, à 0,29 $ par tâche réussie, soit environ 45 % de moins que les 0,53 $ de mini-swe-agent.
• OpenCode coûte 3,35 $ par tâche réussie, soit 11,7 fois plus que Pi.
• Le meilleur harness dépend du modèle : mini-swe-agent avec GLM-5.3-Flash, Hermes Agent avec DeepSeek-V4.1-Flash et Kimi Code avec Flint.

Il signale également Harness Lens de Harness Hub, qui documente les prompts, les outils et la compaction de 34 harnesses d’agents de codage, et relie chaque affirmation à sa source.