Harness Leaderboard compara nove harnesses de agentes de programação em modelos abertos; um agente que usa apenas bash fica em primeiro lugar

Joel Niklaus lançou o Harness Leaderboard, que compara nove harnesses de agentes de programação executados em modelos abertos. Em cada comparação, apenas o harness muda: o modelo, o provedor e o esforço de raciocínio permanecem iguais, e cada tarefa recebe três tentativas. Niklaus diz que executou 28.849 testes, com US$ 4.746 em inferência, usando GLM-5.3-Flash, DeepSeek-V4.1-Flash e Flint no Terminal-Bench 2.1 e no DeepSWE. A publicação tinha 625 pontos no X em 6 de novembro.

Segundo Niklaus, na média dos três modelos:

• O mini-swe-agent, um agente que usa apenas bash, resolve 51,4% das tarefas; o OpenClaw resolve 27,3%. Outros quatro harnesses estão estatisticamente empatados com o mini-swe-agent.
• O Pi, um dos quatro empatados, resolve 49,4% das tarefas a US$ 0,29 por tarefa resolvida, cerca de 45% menos que os US$ 0,53 do mini-swe-agent.
• O OpenCode custa US$ 3,35 por tarefa resolvida, 11,7 vezes o custo do Pi.
• O melhor harness depende do modelo: mini-swe-agent no GLM-5.3-Flash, Hermes Agent no DeepSeek-V4.1-Flash e Kimi Code no Flint.

Ele também destaca o Harness Lens, do Harness Hub, que documenta os prompts, as ferramentas e a compactação de 34 harnesses de agentes de programação e vincula cada afirmação à sua fonte.