Arena 开源两套来自其 Interaction-as-a-Judge 研究的 Web 开发数据集

Arena 正在发布两套数据集：ArenaWebdevPreferences，包含 6,390 组带有人类偏好标签的应用；以及 ArenaWebdevCorrectness，包含 189 个游戏版本和 362 项经人工验证的需求。

这些数据集来自 Arena 的 Interaction-as-a-Judge 研究。Arena 报告了以下结果：

• 与只阅读代码的评审相比，与应用交互的计算机使用代理能发现更多错误：71.1%，而非 63.0%。
• 将这种方法用作强化学习奖励后，Qwen-3.5-9B 的胜率提高了 6.7 个百分点，约合 50 个 Arena 积分。
• 迭代修复能修复 75.5% 的有问题需求，而仅使用代码评审时为 55.4%。

这些数据由 Arena 提供。