Harness Leaderboard में खुले मॉडल पर नौ कोडिंग-एजेंट harnesses की तुलना; केवल bash इस्तेमाल करने वाला एजेंट सबसे आगे

Joel Niklaus ने Harness Leaderboard जारी किया, जो खुले मॉडल पर चलने वाले नौ कोडिंग-एजेंट harnesses की तुलना करता है। हर तुलना में केवल harness बदलता है: मॉडल, provider और reasoning effort समान रहते हैं, और हर काम के तीन प्रयास किए जाते हैं। Niklaus का कहना है कि उन्होंने Terminal-Bench 2.1 और DeepSWE पर GLM-5.3-Flash, DeepSeek-V4.1-Flash और Flint का इस्तेमाल करके $4,746 की inference लागत में 28,849 परीक्षण किए। 6 नवंबर तक X पर पोस्ट को 625 अंक मिले थे।

Niklaus के अनुसार, तीनों मॉडलों का औसत लेने पर:

• केवल bash इस्तेमाल करने वाला एजेंट mini-swe-agent, 51.4% काम हल करता है; OpenClaw 27.3% हल करता है। चार अन्य harnesses के नतीजे सांख्यिकीय रूप से mini-swe-agent के बराबर हैं।
• बराबरी पर रहे उन चार में से एक, Pi, प्रति हल किए गए काम पर $0.29 की लागत में 49.4% काम हल करता है—mini-swe-agent की $0.53 लागत से लगभग 45% कम।
• OpenCode की लागत प्रति हल किए गए काम पर $3.35 है, जो Pi से 11.7 गुना अधिक है।
• सबसे अच्छा harness मॉडल पर निर्भर करता है: GLM-5.3-Flash पर mini-swe-agent, DeepSeek-V4.1-Flash पर Hermes Agent और Flint पर Kimi Code।

उन्होंने Harness Hub के Harness Lens का भी उल्लेख किया, जो 34 कोडिंग-एजेंट harnesses के prompts, tools और compaction का दस्तावेज़ीकरण करता है और हर दावे को उसके स्रोत से जोड़ता है।