Harness Leaderboard so sánh chín harness cho tác tử lập trình trên các mô hình mở; một tác tử chỉ dùng bash dẫn đầu

Joel Niklaus đã công bố Harness Leaderboard, bảng so sánh chín harness cho tác tử lập trình chạy trên các mô hình mở. Trong mỗi phép so sánh, chỉ harness thay đổi: mô hình, nhà cung cấp và mức độ suy luận được giữ nguyên, đồng thời mỗi tác vụ có ba lần thử. Niklaus cho biết ông đã chạy 28.849 lượt thử với chi phí suy luận 4.746 USD, sử dụng GLM-5.3-Flash, DeepSeek-V4.1-Flash và Flint trên Terminal-Bench 2.1 và DeepSWE. Đến ngày 6 tháng 11, bài đăng đạt 625 điểm trên X.

Theo Niklaus, tính trung bình trên ba mô hình:

• mini-swe-agent, một tác tử chỉ dùng bash, giải quyết 51,4% tác vụ; OpenClaw giải quyết 27,3%. Bốn harness khác có kết quả ngang bằng mini-swe-agent về mặt thống kê.
• Pi, một trong bốn harness ngang bằng đó, giải quyết 49,4% tác vụ với chi phí 0,29 USD cho mỗi tác vụ được giải quyết, thấp hơn khoảng 45% so với mức 0,53 USD của mini-swe-agent.
• OpenCode tốn 3,35 USD cho mỗi tác vụ được giải quyết, gấp 11,7 lần Pi.
• Harness tốt nhất tùy thuộc vào mô hình: mini-swe-agent trên GLM-5.3-Flash, Hermes Agent trên DeepSeek-V4.1-Flash và Kimi Code trên Flint.

Ông cũng giới thiệu Harness Lens của Harness Hub, nơi ghi lại các prompt, công cụ và cách nén ngữ cảnh của 34 harness cho tác tử lập trình, đồng thời liên kết từng nhận định với nguồn của nó.