Artificial Analysis: Qwen4 Max, 지능 지수에서 43점 기록… Kimi K3.1 Pro보다 3점 낮아
Artificial Analysis에 따르면 Qwen4 Max는 xhigh 추론 강도에서 지능 지수 43점을 기록했습니다. 이는 Qwen3.8 Max(34점)보다 9점 높고 Kimi K3.1 Pro(46점)보다 3점 낮습니다.
- 향상된 점: 지수의 모든 평가 항목에서 성능이 개선됐습니다. HLE-Diamond는 24%에서 45%로 올랐고, AA-Omniscience, AutomationBench-AA, CritPt v2, Terminal-Bench-Science, Terminal-Bench 4.0도 상승했습니다.
- 비용: 지능 지수 평가 작업당 $3.27로, Qwen3.8 Max($10.02)보다 약 3배 저렴하고 Kimi K3.1 Pro($3.68)보다 약 11% 저렴합니다. 작업당 출력 토큰은 약 105k로 Qwen3.8 Max보다 39% 적지만, Kimi K3.1 Pro(약 72k)보다는 많습니다.
- 뒤처지는 항목: Terminal-Bench 4.0에서 48%로 Kimi K3.1 Pro의 67%보다 낮습니다. FrontierCode 2.0에서는 26%로 Kimi K3.1 Pro와 같고 Tencent Hy4(31%)보다 낮습니다.
- 지식 업무: AA-Briefcase에서 1686 Elo를 기록해 Kimi K3.1 Pro의 1674보다 높습니다.
Artificial Analysis는 1M 토큰 컨텍스트 창, 텍스트 및 이미지 입력, Alibaba 자체 API 기준 입력 토큰 100만 개당 $1.50, 출력 토큰 100만 개당 $4.50의 가격을 제시합니다.
출처
토론
- So Qwen4 Max scores 43 on the AA intelligence index 😭X · 댓글 43개
- Qwen 4 is not a good release.X · 댓글 126개
이런 뉴스를 푸시로 받아보세요.
사용하는 도구에 변화가 생기면 AI Tracker가 알려드립니다.