Arena mã nguồn mở hai bộ dữ liệu phát triển web từ nghiên cứu Interaction-as-a-Judge

Arena đang phát hành hai bộ dữ liệu: ArenaWebdevPreferences, gồm 6.390 cặp ứng dụng được gắn nhãn sở thích của con người, và ArenaWebdevCorrectness, gồm 189 phiên bản trò chơi cùng 362 yêu cầu đã được con người xác minh.

Các bộ dữ liệu này xuất phát từ nghiên cứu Interaction-as-a-Judge của Arena. Arena báo cáo các kết quả sau:

• Các tác nhân sử dụng máy tính để tương tác với ứng dụng phát hiện nhiều lỗi hơn những người đánh giá chỉ đọc mã: 71,1% so với 63,0%.
• Khi được dùng làm phần thưởng cho học tăng cường, phương pháp này giúp tỷ lệ thắng của Qwen-3.5-9B tăng 6,7 điểm, tương đương khoảng 50 điểm Arena.
• Việc sửa lỗi lặp đi lặp lại khắc phục được 75,5% yêu cầu bị lỗi, so với 55,4% khi dùng bộ đánh giá chỉ xem mã.

Các số liệu này do chính Arena công bố.