AI Tracker下载 App
← 全部新闻
Moonshot AI模型编程

Artificial Analysis 和 Arena 的榜单均将 Kimi K3.1 Pro 排在第 4;它在 Code Arena WebDev 中排名第 8

Moonshot 的 Kimi K3.1 Pro 发布后一小时内,两家独立评测机构公布了测试结果。两家都将其定价列为每百万输入 token 2 美元、每百万输出 token 10 美元;Artificial Analysis 列出的缓存输入价格为 0.20 美元,比 Kimi K3 低 33%。

Artificial Analysis 表示,该模型在 Intelligence Index 上得分为 55,比 Kimi K3(44)高 11 分,排名总榜第 4,落后于 Claude Opus 5.5(58)、Claude Sonnet 5.5(56)和 Muse Wonder Full(56)。其他数据如下:

  • 它在 GDPval-AA 上排名第 3,Elo 为 1,846,比 Kimi K3 高 312 分。
  • 在其测试过的所有模型中,它的 Terminal-Bench 4.0 得分最高,为 67%(Kimi K3:13%;Claude Sonnet 5.5:64%)。
  • AutomationBench-AA 从 58% 升至 73%。在 Humanity's Last Exam(47% 升至 52%)、CritPt(23% 升至 25%)和 SciCode(59% 升至 61%)上的提升较小。
  • 它在 AA-Omniscience 上的幻觉率从 53% 降至 44%。
  • 每项任务的成本约为 1.98 美元,与 Kimi K3 大致持平,因为它使用的输出 token 多 14%。
  • Artificial Analysis 表示,权重公布后,它将成为得分最高的开放权重模型,与专有模型的差距将从 12 分缩小至 3 分。

Arena 表示,该模型在 Code Arena: WebDev 中排名第 8,得分为 1692,比 Kimi K3 上升 9 位、增加 37 分;其表现与 Claude Opus 5 (Max) 相当,而成本据称低 70%。它的每项任务成本中位数为 1.23 美元,比 Kimi K3 低 29%。Arena 还报告称,它在 Brand & Marketing 中排名第 7,在 Simulations 中排名第 9,并表示开放权重后,它将成为 WebDev 中排名最高的开放模型,领先于 DeepSeek V4.1 Flash。

Artificial Analysis Cyber Index(当天稍晚发布):Kimi K3.1 Pro 得分为 64%,比 Kimi K3(41%)高 23 分。Artificial Analysis 表示,这使其成为排名最高的公开可用模型,综合排名第 2,仅次于 OpenAI 的可信访问版 GPT-6 Sol(Daybreak Blue, max),后者得分为 69%;它也领先于 DeepSeek V4.1 Flash 1017(57%)。该机构报告称,在其测试过的所有模型中,该模型的 CyberGym-E2E-AA 得分最高(95%);它在 DeepsecBench-AA 上得分为 37%,在 CWE-Bench-AA 上得分为 61%(DeepSeek V4.1 Flash 1017 在该项以 69% 领先),且没有安全拒绝。每项任务成本为 2.81 美元,比 Kimi K3 高 15%,因为它使用的输入 token 大约是后者的两倍。

Extended NYT Connections(Lech Mazur 的独立基准测试,当天稍晚发布):Kimi K3.1 Pro (high) 得分为 93.4,略低于 Kimi K3 的 93.6,但使用的推理 token 更少。Mazur 还测试了 GPT-6 Astra (max) 和 GPT-6.1 Sol (max);Gemini 4 Argon (high) 仍排名第一。

Robocurve 真实机器人任务(当晚发布,太平洋时间):物理 AI 基准测试组织 Robocurve 表示,Kimi K3.1 Pro 在其真实机器人任务中得分为 9%,落后于 Claude Opus 5.5、Gemini 4 Argon 和 GPT-6 Astra。

Agent Arena(Arena 于 10 月 24 日发布):Kimi K3.1 Pro (Max) 在 Agent Arena 中排名第 11;在 Arena 用户进行的 4,000 多次真实世界智能体会话中,其净提升为 7.6%。Arena 表示,这将使它成为 Agent Arena 中排名最高的开放模型,领先于 DeepSeek V4.1 Flash。

VulnPR-100(一位用户于 10 月 24 日发布,使用 BugBunny 的基准测试):面对 100 个已知存在漏洞的拉取请求,每个 PR 限时一小时,Kimi K3.1 Pro 以 124.69 美元的成本找出 47 个,比 Kimi K3 多找出 10 个,成本低 20.54 美元。转发的一条帖子补充称,DeepSeek V4.1 Flash 1017 以 7.53 美元的成本找出 54 个。

Mazebench(作者于 10 月 24 日发布):Kimi K3.1 Pro 得分为 2%;帖子称,这是开放权重模型首次取得非零但有实际意义的分数。DeepSeek V4.1 Flash 得分为 1%。

Design Creativity Bench(维护者于 10 月 24 日发布):与 Kimi K3 相比,Kimi K3.1 Pro 的总体创造力得分从 40.4 升至 45.8。适切性得分从 96.8% 升至 98.5%;该基准的帖子称,这一成绩超过其评测过的所有其他开放权重模型,与 Claude Fable 5.1 持平。它生成设计的速度几乎是 Kimi K3 的两倍,每项设计的成本中位数下降 18%,从 0.570 美元降至 0.466 美元。

DesignArena Website 排行榜(DesignArena 于 10 月 24 日发布):预计 Kimi K3.1 Pro 将在开放权重模型中排名第 1,总榜并列第 3,仅落后于 Muse Wonder (max) 和 Muse Spark 1.3 (xhigh),并与 Muse Spark 1.3 Max 持平。DesignArena 表示,它在开放权重排行榜上领先 Kimi K3 15 个 Elo 分。

LLM Creative Story-Writing Benchmark(Lech Mazur 于 10 月 24 日发布):Kimi K3.1 Pro (high) 得分为 2.72,高于 Kimi K3 的 2.35。在 50 个匹配提示词的测试中,它对阵 Kimi K3 的成绩为 35 胜、8 平、7 负。Mazur 表示,主要提升在于情节设计更强,所要求的元素更一致地影响角色的决定及其后果;此外,它使用的推理 token 减少了 34%。

这样的新闻,第一时间推送给你。

你用的 AI 工具一有变化,AI Tracker 就会提醒你。

下载 App