Harness Leaderboard, açık modeller üzerinde dokuz kodlama ajanı harness’ini karşılaştırıyor; yalnızca bash kullanan bir ajan zirvede

Joel Niklaus, açık modellerle çalışan dokuz kodlama ajanı harness’ini karşılaştıran Harness Leaderboard’ı yayımladı. Her karşılaştırmada yalnızca harness değişiyor: model, sağlayıcı ve akıl yürütme düzeyi sabit tutuluyor; her görev üç kez deneniyor. Niklaus, Terminal-Bench 2.1 ve DeepSWE’de GLM-5.3-Flash, DeepSeek-V4.1-Flash ve Flint kullanarak 28.849 deneme yaptığını ve çıkarım için 4.746 dolar harcadığını söylüyor. Gönderi, 6 Kasım itibarıyla X’te 625 puan almıştı.

Niklaus’a göre, üç modelin ortalaması şöyle:

• Yalnızca bash kullanan bir ajan olan mini-swe-agent görevlerin %51,4’ünü çözerken OpenClaw %27,3’ünü çözüyor. Diğer dört harness’in performansı mini-swe-agent ile istatistiksel olarak eşit.
• Bu dört eşit performanslı harness’ten biri olan Pi, çözülen görev başına 0,29 dolara %49,4 başarı oranı sağlıyor; bu, mini-swe-agent’ın görev başına 0,53 dolarlık maliyetinden yaklaşık %45 daha düşük.
• OpenCode’un çözülen görev başına maliyeti 3,35 dolar; Pi’nin 11,7 katı.
• En iyi harness modele göre değişiyor: GLM-5.3-Flash’ta mini-swe-agent, DeepSeek-V4.1-Flash’ta Hermes Agent ve Flint’te Kimi Code.

Ayrıca Harness Hub’ın 34 kodlama ajanı harness’inin prompt’larını, araçlarını ve bağlam sıkıştırma yöntemlerini belgeleyen ve her iddiayı kaynağına bağlayan Harness Lens’ine de dikkat çekiyor.