Arena ने अपने Interaction-as-a-Judge अध्ययन के दो वेब-विकास डेटासेट ओपन-सोर्स किए

Arena दो डेटासेट जारी कर रहा है: ArenaWebdevPreferences, जिसमें मानवीय पसंद के लेबल वाले 6,390 ऐप जोड़े हैं, और ArenaWebdevCorrectness, जिसमें गेम के 189 संस्करण और मनुष्यों द्वारा सत्यापित 362 आवश्यकताएँ हैं।

ये Arena के Interaction-as-a-Judge अध्ययन से आए हैं। Arena के मुताबिक, नतीजे ये हैं:

• किसी ऐप के साथ इंटरैक्ट करने वाले कंप्यूटर-उपयोग एजेंट, केवल कोड पढ़ने वाले जजों से ज़्यादा त्रुटियाँ पकड़ते हैं: 71.1%, जबकि 63.0%।
• रिइन्फोर्समेंट-लर्निंग इनाम के रूप में इस्तेमाल करने पर, यह तरीका Qwen-3.5-9B की जीत दर 6.7 अंक—करीब 50 Arena अंक—बढ़ाता है।
• बार-बार सुधार करने से टूटी हुई आवश्यकताओं में से 75.5% ठीक हो जाती हैं, जबकि केवल-कोड जज के साथ यह आँकड़ा 55.4% है।

ये आँकड़े Arena के अपने हैं।