Arena udostępnia na otwartej licencji dwa zbiory danych do tworzenia aplikacji internetowych z badania Interaction-as-a-Judge
Arena udostępnia dwa zbiory danych: ArenaWebdevPreferences, obejmujący 6390 par aplikacji z etykietami ludzkich preferencji, oraz ArenaWebdevCorrectness, zawierający 189 wersji gier i 362 wymagania zweryfikowane przez ludzi.
Zbiory pochodzą z badania Arena Interaction-as-a-Judge. Arena podaje następujące wyniki:
- Agenci korzystający z komputera, którzy wchodzą w interakcję z aplikacją, wykrywają więcej błędów niż sędziowie oceniający wyłącznie kod: 71,1% wobec 63,0%.
- Wykorzystanie tej metody jako nagrody w uczeniu ze wzmocnieniem podnosi współczynnik zwycięstw Qwen-3.5-9B o 6,7 punktu, czyli o około 50 punktów Arena.
- Iteracyjne naprawianie usuwa błędy w 75,5% niespełnionych wymagań, wobec 55,4% przy ocenie wyłącznie kodu.
To dane podane przez samą Arenę.
Źródła
Otrzymuj takie wiadomości jako push.
AI Tracker powiadomi Cię, gdy coś zmieni się w narzędziach, których używasz.