Artificial Analysis 发布 Intelligence Index v5,Claude Opus 5.5 位居榜首
Artificial Analysis 发布了 Intelligence Index 第 5 版。这项综合模型能力的指数新增了两项基准测试,并升级了三项测试。该机构表示,指数中的大部分内容首次基于私有数据集构建。它还推出了 Progress Index v1,将 2022 年 11 月以来发布的语言模型放在同一能力尺度上进行比较。
基准测试网站公布的数据(其自行测得):
- 新增:FrontierCode 2.0,这是 Cognition 的私有编程基准测试,包含真实开源代码库中的 132 项任务,并根据维护者是否会合并修改来评分;Terminal-Bench-Science 中,GPT-6 Astra (max) 以 63% 领先,其次是 Claude Opus 5.5 (max),得分为 59%。
- 升级:HLE-Diamond 取代 Humanity's Last Exam(Claude Opus 5.5 (max) 以 68% 领先,GPT-6 Astra (max) 得分 64%);AA-Omniscience v1.1 是其知识与幻觉测试的清理版;CritPt v2 则使用一个包含 40 道难题的私有子集评分。
- 权重:知识工作 25%、编程 25%(FrontierCode 2.0 占 15%,Terminal-Bench 占 10%)、科学 25%。
- 没有任何单一模型在全部九项评测中领先。Claude Opus 5.5 在三项评测中领先,另外五个模型则领先其余六项。
- 开放权重模型差距进一步拉大:排名第一的 Kimi K3.1 Pro(权重尚未发布)得分 46,落后榜首 12 分;而 v4.3 中的差距为 3 分。在已发布权重的模型中,DeepSeek V4.1 Flash 1017 (max) 和 GLM-5.3 (max) 得分最高,均为 32。
- 每项指数任务的成本:Claude Opus 5.5 (max) 为 $10.04,GPT-6 Astra (max) 为 $6.24,GPT-6.1 Sol (max) 为 $1.27。Sol 的得分与 Opus 5.5 相差不到 4 分,成本约为其八分之一。
- 推理力度的影响更大:Opus 5.5 在 low effort 下得分 35,在 max 下得分 58,但每项任务的成本也高出 10 倍($0.98 对比 $10.04)。
- 模型每项任务使用的输出 token 比 v4.3 更多:中位数从 35k 增至 59k。
X 上的一条转发称,GPT-6.1 Terra (max) 在新指数中的得分为 51。
来源
讨论
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。