Kernel:Gemini 4 Carbon 修復 bug 耗時近一小時,Opus 和 Astra 幾分鐘就能完成
Kernel 是一家進行私有程式碼評測的公司。該公司表示,在診斷並修復 bug 的任務中,Gemini 4 Carbon 耗時近一小時;Claude Opus 5.5 和 GPT-6 Astra 則只需幾分鐘。這些是 Kernel 自行測得的數據,並非 Google 提供;Kernel 也引用了社群媒體上反映同樣緩慢的使用者說法。
Kernel 將差距歸因於三個原因:
- 推論較慢: 每個步驟耗時較長;Kernel 表示,這解釋了相較 Astra 多出 16–30% 的時間,以及相較 Opus 多出 45–49% 的時間。
- 工作量較大: Carbon 採取的步驟約是 Astra 的七倍、動作數是十一倍,處理的輸入量則超過十六倍。大約一半的步驟都花在任務單未要求的工作上,例如檢查 bug 以外的程式碼,以及防範任務單已排除的情況。
- 操作效率不彰: Carbon 每個步驟約呼叫一次工具,Astra 則超過兩次;Carbon 讀取的程式碼行中,有 39% 是先前已看過的,Astra 則為 7%。Kernel 估計,這些因素約占額外執行時間的四分之一。
Kernel 表示,問題不在測試框架(opencode 和 mini-SWE-agent 的結果沒有顯著差異);此外,在低 effort 設定下,Carbon 常常無法產生修復方案。一次重新測試中,研究人員每五個步驟就詢問 Carbon 是否已掌握足夠資訊來進行修復,結果它在 28 分鐘內完成,而非 37 分鐘。
來源
- 為什麼 Gemini 4 Carbon 花這麼久?Hacker News · 42 則留言
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。