Artificial Analysis 推出 HLE-Diamond 排行榜,评测精炼后的 Humanity's Last Exam
Artificial Analysis 推出了 HLE-Diamond 排行榜,这是其对精炼后的 Humanity's Last Exam 1,000 道题版本的独立评测,也是 Intelligence Index v5 的一部分。CAIS 和 Scale AI 在花了一年时间清理和完善题目后,发布了 HLE-Diamond。
以下是 Artificial Analysis 自行测得的数据:
- HLE-Diamond 将每道题标记为推理题或知识题。得分超过 50% 的模型,在推理题上的得分都比知识题高 16–35 分。领先模型中,GPT-6.1 Sol (max) 的差距最大,推理题得分为 76%,知识题得分为 41%。
- 提高计算强度设置会带来更高分数,也会增加成本。Claude Opus 5.5 从低强度(42%)提升到最高强度(68%),得分提高 26 分,每项任务的成本约为原来的 35 倍;GPT-6 Astra 从低强度(45%)提升到最高强度(64%),得分提高 19 分,每项任务的成本是原来的 11 倍。
排行榜列出了各模型的得分、token 用量和每项任务的成本。
来源
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。