Anthropic 推出 FlashProve:用於證明回應由哪個模型產生的開源原型
Anthropic 發表了可驗證推論研究:一種密碼學證明(zkSNARK),可證明回應來自一組特定且已承諾的模型權重;即使使用者沒有這些權重,也能驗證。貼文指出,這有助於偵測路由服務暗中更換模型,或攻擊者竄改模型的情況,也能讓評估人員和監管機構確認實際提供的模型。
- 測得結果(Anthropic 提供的數據):使用 Llama 4 Maverick(400B 參數的混合專家模型,4 位元權重)時,單張 H100 每秒約可產生 110 個 token,每個 1,024-token 請求約產生 19 MB 資料。Anthropic 表示,這約為使用 vLLM 執行模型所需 GPU 時間的 70–95 倍;先前的開源系統則慢了好幾個數量級。
- 驗證:用戶端會下載約 6.5 MB 的承諾值;在 24 核心 CPU 上驗證證明約需 17 秒,不需要 GPU。證明不會揭露權重,但不會隱藏模型架構。
- 限制:證明是在事後以批次方式產生,而非在推論期間產生。Anthropic 稱這是階段性進展,並非完整的研究計畫。
- 採 Apache 2.0 授權發布:包括部落格文章、技術報告、協定說明、含快速 C++ 驗證器的證明產生器、Lean 驗證器,以及頂層安全性主張的 Lean 證明。Anthropic 表示,Claude 完成了大部分最佳化工作,而提供 Lean 陳述是為了讓人們能稽核其主張。
- 背景:Anthropic 表示,其 Frontier Safety Roadmap 設定的目標——在 2026 年 9 月 30 日前推出可驗證推論原型——已透過另一項專案達成;該專案會為推論流量簽章,並在可信任伺服器上重新計算推論。本研究則以不同方法追求相同目標。
來源
- 大型語言模型可驗證推論的進展claude
討論
- Progress on provable inference for large language modelsHacker News · 3 則留言
- Progress on provable inference for large language modelsHacker News · 59 則留言
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。