Arena, Interaction-as-a-Judge çalışmasından iki web geliştirme veri kümesini açık kaynak olarak yayımlıyor

Arena iki veri kümesi yayımlıyor: İnsan tercih etiketleri içeren 6.390 uygulama çiftiyle ArenaWebdevPreferences ve 189 oyun sürümü ile insanlar tarafından doğrulanmış 362 gereksinim içeren ArenaWebdevCorrectness.

Bu veri kümeleri Arena'nın Interaction-as-a-Judge çalışmasından geliyor. Arena'nın bildirdiği sonuçlar şöyle:

• Bir uygulamayla etkileşim kuran bilgisayar kullanımı ajanları, yalnızca kodu okuyan değerlendiricilerden daha fazla hata tespit ediyor: %71,1'e karşı %63,0.
• Takviyeli öğrenmede ödül olarak kullanıldığında bu yaklaşım, Qwen-3.5-9B'nin kazanma oranını 6,7 puan, yani yaklaşık 50 Arena puanı artırıyor.
• Yinelemeli düzeltme, bozuk gereksinimlerin %75,5'ini gideriyor; yalnızca kodu inceleyen bir değerlendiricide bu oran %55,4.

Bu rakamlar Arena'nın kendi verileri.