Harness Leaderboard сравнивает девять оболочек для кодовых агентов на открытых моделях; лидер — агент, работающий только через bash

Джоэл Никлаус выпустил Harness Leaderboard — сравнение девяти оболочек для кодовых агентов, работающих на открытых моделях. В каждом сравнении меняется только оболочка: модель, провайдер и интенсивность рассуждений остаются неизменными, а для каждой задачи предусмотрено три попытки. По словам Никлауса, он провёл 28 849 испытаний, потратив $4 746 на инференс, используя GLM-5.3-Flash, DeepSeek-V4.1-Flash и Flint на Terminal-Bench 2.1 и DeepSWE. К 6 ноября публикация набрала 625 баллов на X.

По данным Никлауса, в среднем по трём моделям:

• mini-swe-agent — агент, работающий только через bash, — решает 51,4% задач; OpenClaw — 27,3%. Ещё четыре оболочки статистически не отличаются от mini-swe-agent.
• Pi, одна из этих четырёх оболочек, решает 49,4% задач при стоимости $0,29 за решённую задачу — примерно на 45% меньше, чем $0,53 у mini-swe-agent.
• Стоимость одной решённой задачи в OpenCode составляет $3,35 — в 11,7 раза больше, чем у Pi.
• Лучшая оболочка зависит от модели: mini-swe-agent для GLM-5.3-Flash, Hermes Agent для DeepSeek-V4.1-Flash и Kimi Code для Flint.

Он также обращает внимание на Harness Lens от Harness Hub: там описаны промпты, инструменты и механизм сжатия контекста 34 оболочек для кодовых агентов, а каждое утверждение сопровождается ссылкой на источник.