Artificial Analysis:Qwen4 MaxのIntelligence Indexスコアは43、Kimi K3.1 Proを3ポイント下回る
Artificial Analysisによると、Qwen4 Maxは推論強度をxhighに設定した場合、Intelligence Indexで43を獲得。Qwen3.8 Max(34)を9ポイント上回り、Kimi K3.1 Pro(46)を3ポイント下回る。
- 向上点: 指数のすべての評価でスコアが向上。HLE-Diamondは24%から45%に上昇し、AA-Omniscience、AutomationBench-AA、CritPt v2、Terminal-Bench-Science、Terminal-Bench 4.0でも上昇した。
- コスト: Intelligence Indexのタスク1件あたり$3.27で、Qwen3.8 Max($10.02)より約3分の1、Kimi K3.1 Pro($3.68)より約11%安い。タスクあたりの出力トークンは約105kで、Qwen3.8 Maxより39%少ないものの、Kimi K3.1 Pro(約72k)より多い。
- 劣る分野: Terminal-Bench 4.0は48%で、Kimi K3.1 Proの67%を下回る。FrontierCode 2.0は26%でKimi K3.1 Proと同水準だが、Tencent Hy4(31%)を下回る。
- 知識労働: AA-Briefcaseで1686 Eloを獲得し、Kimi K3.1 Proの1674を上回る。
Artificial Analysisによると、コンテキストウィンドウは1Mトークンで、テキストと画像の入力に対応。Alibaba独自のAPIでは、入力・出力100万トークンあたり$1.50/$4.50。
ソース
ディスカッション
- So Qwen4 Max scores 43 on the AA intelligence index 😭X · 43 件のコメント
- Qwen 4 is not a good release.X · 126 件のコメント
こんなニュースをプッシュで。
使っているツールに変化があると、AI Tracker がお知らせします。