AI Tracker下載 App
← 所有新聞

Artificial Analysis 與 Arena 在各自排行榜將 Kimi K3.1 Pro 排名第 4,在 Code Arena WebDev 排名第 8

兩家獨立評測機構在 Moonshot 發布 Kimi K3.1 Pro 後不到一小時內公布了評測結果。兩者列出的價格皆為每百萬輸入 tokens 2 美元、每百萬輸出 tokens 10 美元;Artificial Analysis 列出的快取輸入價格為 0.20 美元,比 Kimi K3 低 33%。

Artificial Analysis 表示,該模型在 Intelligence Index 得分為 55,比 Kimi K3(44)高 11 分,總排名第 4,僅次於 Claude Opus 5.5(58)、Claude Sonnet 5.5(56)和 Muse Wonder Full(56)。其他數據如下:

  • 它在 GDPval-AA 排名第 3,Elo 為 1,846,比 Kimi K3 高 312 分。
  • 在 Artificial Analysis 測試過的所有模型中,它的 Terminal-Bench 4.0 得分最高,為 67%(Kimi K3:13%;Claude Sonnet 5.5:64%)。
  • AutomationBench-AA 從 58% 升至 73%。在 Humanity's Last Exam(47% 升至 52%)、CritPt(23% 升至 25%)和 SciCode(59% 升至 61%)上的進步較小。
  • 它在 AA-Omniscience 上的幻覺率從 53% 降至 44%。
  • 每項任務成本約為 1.98 美元,與 Kimi K3 大致相當,因為它使用的輸出 tokens 多 14%。
  • Artificial Analysis 表示,權重發布後,它將成為得分最高的開放權重模型,與專有模型的差距將從 12 分縮小至 3 分。

Arena 表示,該模型在 Code Arena: WebDev 排名第 8,得分 1692,比 Kimi K3 上升 9 個名次、增加 37 分;與 Claude Opus 5 (Max) 表現相當,成本則據稱低 70%。每項任務的成本中位數為 1.23 美元,比 Kimi K3 低 29%。Arena 也指出,它在 Brand & Marketing 排名第 7、在 Simulations 排名第 9,並表示若採用開放權重,它將成為 WebDev 排名最高的開放模型,領先 DeepSeek V4.1 Flash。

Artificial Analysis Cyber Index(當日晚些時候發布):Kimi K3.1 Pro 得分 64%,比 Kimi K3(41%)高 23 分。Artificial Analysis 表示,這使它成為排名最高的公開可用模型,總排名第二,僅次於具可信存取權的 OpenAI GPT-6 Sol(Daybreak Blue, max),後者得分 69%;並領先 DeepSeek V4.1 Flash 1017(57%)。該機構表示,這是它測試過的所有模型中 CyberGym-E2E-AA 得分最高的模型(95%);它在 DeepsecBench-AA 得分 37%,在 CWE-Bench-AA 得分 61%(DeepSeek V4.1 Flash 1017 以 69% 領先),且沒有安全拒答。每項任務成本為 2.81 美元,比 Kimi K3 高 15%,因為它使用的輸入 tokens 約為兩倍。

Extended NYT Connections(Lech Mazur 的獨立基準測試,當日晚些時候發布):Kimi K3.1 Pro (high) 得分 93.4,略低於 Kimi K3 的 93.6,但使用的推理 tokens 較少。Mazur 也測試了 GPT-6 Astra (max) 和 GPT-6.1 Sol (max);Gemini 4 Argon (high) 仍居首位。

Robocurve 真實機器人任務(當晚太平洋時間發布):實體 AI 基準測試組織 Robocurve 表示,Kimi K3.1 Pro 在其真實機器人任務上的得分為 9%,落後於 Claude Opus 5.5、Gemini 4 Argon 和 GPT-6 Astra。

Agent Arena(Arena 於 10 月 24 日發布):Kimi K3.1 Pro (Max) 在 Agent Arena 排名第 11;根據 Arena 使用者超過 4,000 場真實世界代理工作階段的結果,其整體表現提升 7.6%。Arena 表示,這將使它成為 Agent Arena 排名最高的開放模型,領先 DeepSeek V4.1 Flash。

VulnPR-100(一位使用者於 10 月 24 日發布,使用 BugBunny 的基準測試):給定 100 個含有已知漏洞的 pull requests,且每個 PR 有一小時,Kimi K3.1 Pro 找出 47 個漏洞,成本為 124.69 美元;比 Kimi K3 多找出 10 個,成本則少 20.54 美元。一則轉載貼文補充,DeepSeek V4.1 Flash 1017 找出 54 個,成本為 7.53 美元。

Mazebench(作者於 10 月 24 日發布):Kimi K3.1 Pro 得分 2%;貼文稱這是開放權重模型首次取得非微不足道的分數。DeepSeek V4.1 Flash 得分 1%。

Design Creativity Bench(維護者於 10 月 24 日發布):相較於 Kimi K3,Kimi K3.1 Pro 的整體創意得分從 40.4 升至 45.8。適切性得分從 96.8% 升至 98.5%;該基準測試的貼文稱,這高於其評測過的所有其他開放權重模型,並與 Claude Fable 5.1 相當。它生成設計的速度幾乎是 Kimi K3 的兩倍,每個設計的成本中位數則降低 18%,從 0.570 美元降至 0.466 美元。

DesignArena Website leaderboard(DesignArena 於 10 月 24 日發布):預測 Kimi K3.1 Pro 將在開放權重模型中排名第 1,總排名並列第 3,僅次於 Muse Wonder (max) 和 Muse Spark 1.3 (xhigh),並與 Muse Spark 1.3 Max 並列。DesignArena 表示,它在開放權重排行榜上比 Kimi K3 高 15 Elo 分。

LLM Creative Story-Writing Benchmark(Lech Mazur 於 10 月 24 日發布):Kimi K3.1 Pro (high) 得分 2.72,高於 Kimi K3 的 2.35。在 50 個配對提示中,對 Kimi K3 的結果為 35 勝、8 平、7 負。Mazur 表示,主要進步在於情節安排更出色:必須納入的元素更穩定地影響角色的決定及其後果;此外,它使用的推理 tokens 減少 34%。

這樣的新聞,第一時間推播給你。

你使用的 AI 工具一有變化,AI Tracker 就會通知你。

下載 App