Artificial Analysis:Qwen4 Max 在 Intelligence Index 上得分 43,落后 Kimi K3.1 Pro 3 分
Artificial Analysis 称,Qwen4 Max 在 xhigh 推理强度下的 Intelligence Index 得分为 43:比 Qwen3.8 Max(34)高 9 分,比 Kimi K3.1 Pro(46)低 3 分。
- 提升:它在该指数的所有评测中均有进步。HLE-Diamond 从 24% 升至 45%,AA-Omniscience、AutomationBench-AA、CritPt v2、Terminal-Bench-Science 和 Terminal-Bench 4.0 的成绩也有所提升。
- 成本:每项 Intelligence Index 任务花费 $3.27,比 Qwen3.8 Max($10.02)低约 3 倍,比 Kimi K3.1 Pro($3.68)低约 11%。每项任务约使用 105k 个输出 token,比 Qwen3.8 Max 少 39%,但多于 Kimi K3.1 Pro(约 72k)。
- 落后之处:Terminal-Bench 4.0 得分为 48%,而 Kimi K3.1 Pro 为 67%;FrontierCode 2.0 得分为 26%,与 Kimi K3.1 Pro 持平,落后于 Tencent Hy4(31%)。
- 知识工作:在 AA-Briefcase 上获得 1686 Elo,高于 Kimi K3.1 Pro 的 1674。
Artificial Analysis 列出的信息包括:1M-token 上下文窗口、文本和图像输入,以及在 Alibaba 自有 API 上每百万输入/输出 token 收费 $1.50/$4.50。
来源
讨论
- So Qwen4 Max scores 43 on the AA intelligence index 😭X · 43 条评论
- Qwen 4 is not a good release.X · 126 条评论
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。