Artificial Analysis 和 Arena 的榜单均将 Kimi K3.1 Pro 排在第 4;它在 Code Arena WebDev 中排名第 8
Moonshot 的 Kimi K3.1 Pro 发布后一小时内,两家独立评测机构公布了测试结果。两家都将其定价列为每百万输入 token 2 美元、每百万输出 token 10 美元;Artificial Analysis 列出的缓存输入价格为 0.20 美元,比 Kimi K3 低 33%。
Artificial Analysis 表示,该模型在 Intelligence Index 上得分为 55,比 Kimi K3(44)高 11 分,排名总榜第 4,落后于 Claude Opus 5.5(58)、Claude Sonnet 5.5(56)和 Muse Wonder Full(56)。其他数据如下:
- 它在 GDPval-AA 上排名第 3,Elo 为 1,846,比 Kimi K3 高 312 分。
- 在其测试过的所有模型中,它的 Terminal-Bench 4.0 得分最高,为 67%(Kimi K3:13%;Claude Sonnet 5.5:64%)。
- AutomationBench-AA 从 58% 升至 73%。在 Humanity's Last Exam(47% 升至 52%)、CritPt(23% 升至 25%)和 SciCode(59% 升至 61%)上的提升较小。
- 它在 AA-Omniscience 上的幻觉率从 53% 降至 44%。
- 每项任务的成本约为 1.98 美元,与 Kimi K3 大致持平,因为它使用的输出 token 多 14%。
- Artificial Analysis 表示,权重公布后,它将成为得分最高的开放权重模型,与专有模型的差距将从 12 分缩小至 3 分。
Arena 表示,该模型在 Code Arena: WebDev 中排名第 8,得分为 1692,比 Kimi K3 上升 9 位、增加 37 分;其表现与 Claude Opus 5 (Max) 相当,而成本据称低 70%。它的每项任务成本中位数为 1.23 美元,比 Kimi K3 低 29%。Arena 还报告称,它在 Brand & Marketing 中排名第 7,在 Simulations 中排名第 9,并表示开放权重后,它将成为 WebDev 中排名最高的开放模型,领先于 DeepSeek V4.1 Flash。
Artificial Analysis Cyber Index(当天稍晚发布):Kimi K3.1 Pro 得分为 64%,比 Kimi K3(41%)高 23 分。Artificial Analysis 表示,这使其成为排名最高的公开可用模型,综合排名第 2,仅次于 OpenAI 的可信访问版 GPT-6 Sol(Daybreak Blue, max),后者得分为 69%;它也领先于 DeepSeek V4.1 Flash 1017(57%)。该机构报告称,在其测试过的所有模型中,该模型的 CyberGym-E2E-AA 得分最高(95%);它在 DeepsecBench-AA 上得分为 37%,在 CWE-Bench-AA 上得分为 61%(DeepSeek V4.1 Flash 1017 在该项以 69% 领先),且没有安全拒绝。每项任务成本为 2.81 美元,比 Kimi K3 高 15%,因为它使用的输入 token 大约是后者的两倍。
Extended NYT Connections(Lech Mazur 的独立基准测试,当天稍晚发布):Kimi K3.1 Pro (high) 得分为 93.4,略低于 Kimi K3 的 93.6,但使用的推理 token 更少。Mazur 还测试了 GPT-6 Astra (max) 和 GPT-6.1 Sol (max);Gemini 4 Argon (high) 仍排名第一。
Robocurve 真实机器人任务(当晚发布,太平洋时间):物理 AI 基准测试组织 Robocurve 表示,Kimi K3.1 Pro 在其真实机器人任务中得分为 9%,落后于 Claude Opus 5.5、Gemini 4 Argon 和 GPT-6 Astra。
Agent Arena(Arena 于 10 月 24 日发布):Kimi K3.1 Pro (Max) 在 Agent Arena 中排名第 11;在 Arena 用户进行的 4,000 多次真实世界智能体会话中,其净提升为 7.6%。Arena 表示,这将使它成为 Agent Arena 中排名最高的开放模型,领先于 DeepSeek V4.1 Flash。
VulnPR-100(一位用户于 10 月 24 日发布,使用 BugBunny 的基准测试):面对 100 个已知存在漏洞的拉取请求,每个 PR 限时一小时,Kimi K3.1 Pro 以 124.69 美元的成本找出 47 个,比 Kimi K3 多找出 10 个,成本低 20.54 美元。转发的一条帖子补充称,DeepSeek V4.1 Flash 1017 以 7.53 美元的成本找出 54 个。
Mazebench(作者于 10 月 24 日发布):Kimi K3.1 Pro 得分为 2%;帖子称,这是开放权重模型首次取得非零但有实际意义的分数。DeepSeek V4.1 Flash 得分为 1%。
Design Creativity Bench(维护者于 10 月 24 日发布):与 Kimi K3 相比,Kimi K3.1 Pro 的总体创造力得分从 40.4 升至 45.8。适切性得分从 96.8% 升至 98.5%;该基准的帖子称,这一成绩超过其评测过的所有其他开放权重模型,与 Claude Fable 5.1 持平。它生成设计的速度几乎是 Kimi K3 的两倍,每项设计的成本中位数下降 18%,从 0.570 美元降至 0.466 美元。
DesignArena Website 排行榜(DesignArena 于 10 月 24 日发布):预计 Kimi K3.1 Pro 将在开放权重模型中排名第 1,总榜并列第 3,仅落后于 Muse Wonder (max) 和 Muse Spark 1.3 (xhigh),并与 Muse Spark 1.3 Max 持平。DesignArena 表示,它在开放权重排行榜上领先 Kimi K3 15 个 Elo 分。
LLM Creative Story-Writing Benchmark(Lech Mazur 于 10 月 24 日发布):Kimi K3.1 Pro (high) 得分为 2.72,高于 Kimi K3 的 2.35。在 50 个匹配提示词的测试中,它对阵 Kimi K3 的成绩为 35 胜、8 平、7 负。Mazur 表示,主要提升在于情节设计更强,所要求的元素更一致地影响角色的决定及其后果;此外,它使用的推理 token 减少了 34%。
来源
- 重磅消息:@Kimi_Moonshot 随着 Kimi K3.1 Pro 发布,重返 Code Arena: WebDev 前四大实验室之列!X · 3 条评论
- Kimi K3.1 Pro launches at 4th on the Artificial Analysis Intelligence Index scoring 55, making large gains in agentic performance; it will…X · 13 条评论
- Kimi K3.1 Pro (high) scores slightly lower than Kimi K3 on the Extended NYT Connections Benchmark: 93.6 → 93.4. But it uses fewer…X · 1 条评论
- Kimi K3.1 Pro scores 9% on real-robot tasks, behind Opus 5.5, Gemini 4 Argon and GPT-6 Astra.…X · 15 条评论
- Kimi K3.1 Pro is now live on Design Creativity Bench!X · 2 条评论
- Kimi K3.1 Pro (Max) by @Kimi_Moonshot just landed in the Agent Arena at #11 with +7.6% net improvement across +4K real-world agentic…X · 1 条评论
- We gave Moonshot’s new Kimi K3.1 Pro 100 pull requests with known vulnerabilities and one hour per PR to find them in the @BugBunny_ai…X · 10 条评论
- Mazebench vs Kimi K3.1 vs DeepSeek v4.1X · 9 条评论
- Kimi K3.1 Pro (high) improves over Kimi K3 on the LLM Creative Story-Writing Benchmark: 2.35 → 2.72.X · 3 条评论
- BREAKING: Kimi K3.1 Pro by @Kimi_Moonshot is projected to rank #1 among open-weights models on DesignArena's Website leaderboard, and is…X · 19 条评论
讨论
- Kimi K3.1 Pro vs. Claude Opus 5.5 ⚔️X · 4 条评论
- Kimi K3.1 scores 55 on Artificial Analysis, placed on the Pareto lineHacker News · 20 条评论
- Kimi K3.1 scores 55 on Artificial Analysis, placed on the Pareto lineHacker News · 38 条评论
- So I tested Kimi K3.1 Pro on real work. 2 repos. 105 replanted bugs. Find and fix what you can. The results:X · 11 条评论
- Kimi K3.1 Pro is the new #1 openly-available model for agentic cyber defense, behind only trusted-access model GPT-6 Sol (Daybreak Blue)…X · 11 条评论
- Kimi K3.1 Pro 这个Terminal-Bench 4.0——average cost per task 的图相当鸡贼。。。X · 3 条评论
- Kimi K3.1 Pro 猫榜AGENT测试出分了。。。。。。X · 3 条评论
- Kimi K3.1 Pro vs. Opus 5.5 vs. GPT-6 AstraX · 4 条评论
- Kimi K3.1 is basically the open-weight version of Opus 5.5 / GPT-6 Astra, but way cheaperX · 79 条评论
- Wow.. 😲 Here's definitive results of Kimi-K3.1-Pro's offensive cybersecurity capabilities. These are black-box engagements, run on…X · 10 条评论
- Kimi K3.1 Pro vs. DeepSeek V4.1 Flash vs. MiniMax M3.1 Flash ⚔️X · 5 条评论
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。