Harness Leaderboard 对比了 9 种搭配开放模型的编程代理框架；仅使用 bash 的代理拔得头筹

Joel Niklaus 发布了 Harness Leaderboard，对比了 9 种运行开放模型的编程代理框架。每次对比中只有框架不同：模型、提供方和推理强度保持不变，每项任务都会尝试 3 次。Niklaus 表示，他在 Terminal-Bench 2.1 和 DeepSWE 上使用 GLM-5.3-Flash、DeepSeek-V4.1-Flash 和 Flint，进行了 28,849 次测试，推理费用为 4,746 美元。截至 11 月 6 日，这条帖子在 X 上获得了 625 个积分。

据 Niklaus 称，三种模型的平均结果如下：

• 仅使用 bash 的代理 mini-swe-agent 可完成 51.4% 的任务；OpenClaw 可完成 27.3%。另外 4 种框架在统计上与 mini-swe-agent 并列。
• Pi 是并列的 4 种框架之一，任务完成率为 49.4%，每个已完成任务的成本为 0.29 美元，比 mini-swe-agent 的 0.53 美元低约 45%。
• OpenCode 每个已完成任务的成本为 3.35 美元，是 Pi 的 11.7 倍。
• 最佳框架取决于模型：GLM-5.3-Flash 对应 mini-swe-agent，DeepSeek-V4.1-Flash 对应 Hermes Agent，Flint 对应 Kimi Code。

他还提到了 Harness Hub 的 Harness Lens：该工具记录了 34 种编程代理框架的提示词、工具和上下文压缩方式，并为每项说法提供来源链接。