Artificial Analysis:Qwen4 Max 在 Intelligence Index 得分 43,落後 Kimi K3.1 Pro 3 分
Artificial Analysis 表示,Qwen4 Max 在 xhigh 推理強度下,於 Intelligence Index 得分 43:比 Qwen3.8 Max(34)高 9 分,落後 Kimi K3.1 Pro(46)3 分。
- 進步:在該指數的每項評測中都有所提升。HLE-Diamond 從 24% 升至 45%,AA-Omniscience、AutomationBench-AA、CritPt v2、Terminal-Bench-Science 和 Terminal-Bench 4.0 的表現也有所提升。
- 成本:每項 Intelligence Index 任務 $3.27,比 Qwen3.8 Max($10.02)便宜約 3 倍,也比 Kimi K3.1 Pro($3.68)便宜約 11%。每項任務約使用 105k 個輸出 token,比 Qwen3.8 Max 少 39%,但仍高於 Kimi K3.1 Pro(約 72k)。
- 落後項目:Terminal-Bench 4.0 得分 48%,低於 Kimi K3.1 Pro 的 67%;FrontierCode 2.0 得分 26%,與 Kimi K3.1 Pro 持平,落後於 Tencent Hy4(31%)。
- 知識工作:在 AA-Briefcase 上取得 1686 Elo,高於 Kimi K3.1 Pro 的 1674。
Artificial Analysis 列出的資訊包括:1M token 的上下文視窗、文字與圖片輸入,以及在 Alibaba 自有 API 上每百萬輸入/輸出 token $1.50/$4.50。
來源
討論
- So Qwen4 Max scores 43 on the AA intelligence index 😭X · 43 則留言
- Qwen 4 is not a good release.X · 126 則留言
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。