Harness Leaderboard membandingkan sembilan harness agen coding pada model terbuka; agen yang hanya menggunakan bash berada di posisi teratas

Joel Niklaus merilis Harness Leaderboard, yang membandingkan sembilan harness agen coding yang menjalankan model terbuka. Dalam setiap perbandingan, hanya harness yang berubah: model, penyedia, dan tingkat upaya penalaran tetap sama, dan setiap tugas dicoba tiga kali. Niklaus mengatakan ia menjalankan 28.849 uji coba dengan biaya inferensi $4.746, menggunakan GLM-5.3-Flash, DeepSeek-V4.1-Flash, dan Flint pada Terminal-Bench 2.1 dan DeepSWE. Hingga 6 November, unggahan tersebut mendapat 625 poin di X.

Menurut Niklaus, rata-rata untuk ketiga model:

• mini-swe-agent, agen yang hanya menggunakan bash, menyelesaikan 51,4% tugas; OpenClaw menyelesaikan 27,3%. Empat harness lainnya secara statistik setara dengan mini-swe-agent.
• Pi, salah satu dari empat harness yang setara itu, menyelesaikan 49,4% tugas dengan biaya $0,29 per tugas yang diselesaikan, sekitar 45% lebih murah daripada mini-swe-agent yang biayanya $0,53.
• Biaya OpenCode adalah $3,35 per tugas yang diselesaikan, 11,7 kali lipat biaya Pi.
• Harness terbaik bergantung pada modelnya: mini-swe-agent untuk GLM-5.3-Flash, Hermes Agent untuk DeepSeek-V4.1-Flash, dan Kimi Code untuk Flint.

Ia juga menyoroti Harness Lens dari Harness Hub, yang mendokumentasikan prompt, alat, dan pemadatan konteks dari 34 harness agen coding serta menautkan setiap klaim ke sumbernya.