Harness Leaderboard 比較 9 種搭配開放模型的程式碼代理 harness；僅使用 bash 的代理表現最佳

Joel Niklaus 發布了 Harness Leaderboard，對比 9 種搭配開放模型運作的程式碼代理 harness。每次比較中，只有 harness 不同：模型、供應商和推理強度都維持不變，每項任務嘗試 3 次。Niklaus 表示，他在 Terminal-Bench 2.1 和 DeepSWE 上使用 GLM-5.3-Flash、DeepSeek-V4.1-Flash 和 Flint，進行了 28,849 次測試，推理成本為 $4,746。截至 11 月 6 日，該貼文在 X 上獲得 625 點。

根據 Niklaus 的說法，三種模型的平均結果如下：

• 僅使用 bash 的代理 mini-swe-agent 解決了 51.4% 的任務；OpenClaw 解決了 27.3%。另外 4 種 harness 的表現與 mini-swe-agent 在統計上不相上下。
• Pi 是表現不相上下的 4 種 harness 之一，每解決一項任務的成本為 $0.29，比 mini-swe-agent 的 $0.53 低約 45%。
• OpenCode 每解決一項任務的成本為 $3.35，是 Pi 的 11.7 倍。
• 最佳 harness 取決於模型：GLM-5.3-Flash 搭配 mini-swe-agent、DeepSeek-V4.1-Flash 搭配 Hermes Agent，而 Flint 搭配 Kimi Code。

他也提到 Harness Hub 的 Harness Lens；該工具記錄了 34 種程式碼代理 harness 使用的提示、工具和上下文壓縮方式，並為每項說法附上來源連結。