Arena 開源兩個來自 Interaction-as-a-Judge 研究的網頁開發資料集

Arena 正在釋出兩個資料集：ArenaWebdevPreferences，包含 6,390 組附有人類偏好標籤的應用程式配對；以及 ArenaWebdevCorrectness，包含 189 個遊戲版本和 362 項經人工驗證的需求。

這些資料集來自 Arena 的 Interaction-as-a-Judge 研究。Arena 報告了以下結果：

• 與只閱讀程式碼的評審相比，會與應用程式互動的電腦操作代理能偵測到更多錯誤：71.1%，相較於 63.0%。
• 將此方法用作強化學習獎勵，可讓 Qwen-3.5-9B 的勝率提高 6.7 個百分點，約合 50 Arena 分。
• 迭代修復可修正 75.5% 的失效需求，而僅使用程式碼評審時為 55.4%。

以上數據均由 Arena 提供。