Arena merilis sumber terbuka dua set data pengembangan web dari studi Interaction-as-a-Judge

Arena merilis dua set data: ArenaWebdevPreferences, yang berisi 6.390 pasangan aplikasi dengan label preferensi manusia, dan ArenaWebdevCorrectness, yang mencakup 189 versi game serta 362 persyaratan yang diverifikasi manusia.

Set data ini berasal dari studi Interaction-as-a-Judge oleh Arena. Arena melaporkan hasil berikut:

• Agen yang menggunakan komputer dan berinteraksi dengan aplikasi mendeteksi lebih banyak kesalahan dibandingkan penilai yang hanya membaca kode: 71,1% berbanding 63,0%.
• Jika digunakan sebagai imbalan pembelajaran penguatan, pendekatan ini meningkatkan tingkat kemenangan Qwen-3.5-9B sebesar 6,7 poin, sekitar 50 poin Arena.
• Perbaikan iteratif mengatasi 75,5% persyaratan yang tidak terpenuhi, dibandingkan 55,4% dengan penilai yang hanya memeriksa kode.

Angka-angka ini berasal dari Arena sendiri.