Harness Leaderboard compara nueve entornos de agentes de programación con modelos abiertos; un agente que solo usa bash queda en primer lugar

Joel Niklaus publicó Harness Leaderboard, que compara nueve entornos de agentes de programación con modelos abiertos. En cada comparación solo cambia el entorno: el modelo, el proveedor y el nivel de razonamiento se mantienen fijos, y cada tarea se intenta tres veces. Niklaus afirma que realizó 28.849 pruebas con un coste de inferencia de 4.746 $, usando GLM-5.3-Flash, DeepSeek-V4.1-Flash y Flint en Terminal-Bench 2.1 y DeepSWE. La publicación tenía 625 puntos en X al 6 de noviembre.

Según Niklaus, el promedio de los tres modelos es el siguiente:

• mini-swe-agent, un agente que solo usa bash, resuelve el 51,4 % de las tareas; OpenClaw resuelve el 27,3 %. Otros cuatro entornos están estadísticamente empatados con mini-swe-agent.
• Pi, uno de esos cuatro empatados, resuelve el 49,4 % de las tareas a 0,29 $ por tarea resuelta, aproximadamente un 45 % menos que los 0,53 $ de mini-swe-agent.
• OpenCode cuesta 3,35 $ por tarea resuelta, 11,7 veces más que Pi.
• El mejor entorno depende del modelo: mini-swe-agent con GLM-5.3-Flash, Hermes Agent con DeepSeek-V4.1-Flash y Kimi Code con Flint.

También destaca Harness Lens de Harness Hub, que documenta los prompts, las herramientas y la compactación de 34 entornos de agentes de programación y enlaza cada afirmación con su fuente.