Arena публикует в открытом доступе два набора данных для веб-разработки из исследования Interaction-as-a-Judge

Arena публикует два набора данных: ArenaWebdevPreferences — 6 390 пар приложений с метками человеческих предпочтений, и ArenaWebdevCorrectness — 189 версий игр и 362 требования, проверенных людьми.

Они получены в рамках исследования Arena Interaction-as-a-Judge. По данным Arena, результаты таковы:

• Агенты, работающие с приложениями через компьютерный интерфейс, выявляют больше ошибок, чем оценщики, которые только читают код: 71,1% против 63,0%.
• Использование этого подхода в качестве вознаграждения при обучении с подкреплением повышает долю побед Qwen-3.5-9B на 6,7 процентного пункта — примерно на 50 баллов Arena.
• Итеративное исправление устраняет 75,5% проблем в требованиях, против 55,4% при оценке только по коду.

Все цифры приведены самой Arena.