Harness Leaderboard, 오픈 모델에서 9개 코딩 에이전트 하네스 비교… bash만 사용하는 에이전트가 1위

Joel Niklaus가 오픈 모델을 실행하는 9개 코딩 에이전트 하네스를 비교하는 Harness Leaderboard를 공개했습니다. 각 비교에서는 하네스만 바꾸고 모델, 제공업체, 추론 수준은 동일하게 유지하며, 각 작업은 세 번씩 시도합니다. Niklaus는 Terminal-Bench 2.1과 DeepSWE에서 GLM-5.3-Flash, DeepSeek-V4.1-Flash, Flint를 사용해 추론에 4,746달러를 들여 28,849회 시험했다고 밝혔습니다. 11월 6일 기준 이 게시물은 X에서 625점을 기록했습니다.

Niklaus에 따르면 세 모델의 평균 결과는 다음과 같습니다.

• bash만 사용하는 에이전트인 mini-swe-agent는 작업의 51.4%를 해결하고, OpenClaw는 27.3%를 해결합니다. 다른 하네스 4개는 통계적으로 mini-swe-agent와 동률입니다.
• 동률인 4개 중 하나인 Pi는 작업의 49.4%를 해결하며, 해결한 작업당 비용은 0.29달러로 mini-swe-agent의 0.53달러보다 약 45% 낮습니다.
• OpenCode의 해결한 작업당 비용은 3.35달러로 Pi의 11.7배입니다.
• 가장 적합한 하네스는 모델에 따라 다릅니다. GLM-5.3-Flash에서는 mini-swe-agent, DeepSeek-V4.1-Flash에서는 Hermes Agent, Flint에서는 Kimi Code가 가장 좋습니다.

그는 또한 34개 코딩 에이전트 하네스의 프롬프트, 도구, 컨텍스트 압축 방식을 문서화하고 각 주장의 출처를 연결한 Harness Hub의 Harness Lens도 소개했습니다.