Arena, Interaction-as-a-Judge 연구에서 나온 웹 개발 데이터셋 2종 오픈소스로 공개

Arena가 데이터셋 2종을 공개합니다. ArenaWebdevPreferences에는 사람의 선호도 라벨이 붙은 앱 쌍 6,390개가, ArenaWebdevCorrectness에는 게임 버전 189개와 사람이 검증한 요구사항 362개가 포함됩니다.

이 데이터셋은 Arena의 Interaction-as-a-Judge 연구에서 나왔습니다. Arena는 다음과 같은 결과를 보고했습니다.

• 앱과 상호작용하는 컴퓨터 사용 에이전트는 코드만 읽는 평가자보다 더 많은 오류를 감지합니다. 감지율은 각각 71.1%와 63.0%입니다.
• 강화 학습 보상으로 이 방식을 사용하면 Qwen-3.5-9B의 승률이 6.7포인트, Arena 점수로 약 50점 상승합니다.
• 반복적인 수정으로 요구사항 미충족 사례의 75.5%를 해결합니다. 코드만 평가하는 방식에서는 55.4%입니다.

이 수치는 Arena 자체가 보고한 것입니다.