Harness Leaderboard、オープンモデルで9種類のコーディングエージェント用ハーネスを比較、bashのみのエージェントが首位に

Joel NiklausがHarness Leaderboardを公開し、オープンモデルを動かす9種類のコーディングエージェント用ハーネスを比較した。各比較で変更するのはハーネスのみで、モデル、プロバイダー、推論の強さは固定し、各タスクを3回試行する。Niklausによると、Terminal-Bench 2.1とDeepSWEでGLM-5.3-Flash、DeepSeek-V4.1-Flash、Flintを使い、推論に4,746ドルを費やして28,849回の試行を行った。11月6日時点で、この投稿はXで625ポイントを獲得していた。

Niklausによると、3つのモデルの平均では次のとおり。

• bashのみのエージェントであるmini-swe-agentはタスクの51.4%を解決し、OpenClawは27.3%を解決する。ほかの4つのハーネスは、統計上mini-swe-agentと同率。
• 同率の4つのうちの1つ、Piはタスクの49.4%を解決し、解決1件あたりの費用は0.29ドル。mini-swe-agentの0.53ドルより約45%安い。
• OpenCodeの解決1件あたりの費用は3.35ドルで、Piの11.7倍。
• 最適なハーネスはモデルによって異なる。GLM-5.3-Flashではmini-swe-agent、DeepSeek-V4.1-FlashではHermes Agent、FlintではKimi Codeが最適。

また、Harness HubのHarness Lensも紹介している。これは34種類のコーディングエージェント用ハーネスのプロンプト、ツール、コンパクションを記録し、各記述を出典にリンクしている。