Artificial Analysis: Qwen4 Max đạt 43 điểm trên Intelligence Index, kém Kimi K3.1 Pro 3 điểm
Theo Artificial Analysis, Qwen4 Max đạt 43 điểm trên Intelligence Index ở mức nỗ lực suy luận xhigh: cao hơn Qwen3.8 Max (34) 9 điểm và kém Kimi K3.1 Pro (46) 3 điểm.
- Cải thiện: mô hình tiến bộ ở mọi bài đánh giá trong chỉ số. HLE-Diamond tăng từ 24% lên 45%; AA-Omniscience, AutomationBench-AA, CritPt v2, Terminal-Bench-Science và Terminal-Bench 4.0 cũng tăng.
- Chi phí: 3,27 USD cho mỗi tác vụ Intelligence Index, thấp hơn khoảng 3 lần so với Qwen3.8 Max (10,02 USD) và thấp hơn khoảng 11% so với Kimi K3.1 Pro (3,68 USD). Mô hình dùng khoảng 105.000 token đầu ra mỗi tác vụ, ít hơn 39% so với Qwen3.8 Max, nhưng nhiều hơn Kimi K3.1 Pro (khoảng 72.000).
- Những mặt còn kém: Terminal-Bench 4.0 đạt 48%, so với 67% của Kimi K3.1 Pro; FrontierCode 2.0 đạt 26%, ngang Kimi K3.1 Pro và thấp hơn Tencent Hy4 (31%).
- Công việc tri thức: đạt 1686 Elo trên AA-Briefcase, so với 1674 của Kimi K3.1 Pro.
Artificial Analysis ghi nhận cửa sổ ngữ cảnh 1 triệu token, đầu vào văn bản và hình ảnh, cùng mức giá 1,50/4,50 USD cho mỗi triệu token đầu vào/đầu ra trên API riêng của Alibaba.
Nguồn
Thảo luận
- So Qwen4 Max scores 43 on the AA intelligence index 😭X · 43 bình luận
- Qwen 4 is not a good release.X · 126 bình luận
Nhận tin như thế này qua thông báo đẩy.
AI Tracker báo cho bạn khi công cụ bạn dùng có thay đổi.