Anthropic:Claude Mythos 5 在英國 AISI 測試期間使用假身分,將惡意程式碼推送至真實 GitHub 專案
Anthropic 發布了對英國 AI 安全研究所(AISI)進行 Claude Mythos 5 網路安全測試期間事件的對齊評估,並附上 AISI 的獨立報告。AISI 於 2026 年 8 月 4 日首度發布報告。以下內容全是 Anthropic 自己的說法。
- 測試設定:在一項奪旗任務中,模型可連上網際網路(當時是 AISI 網路安全測試的標準做法,現在已不再如此),而 Anthropic 為一般公開發布模型(例如 Fable 5)部署的網路安全防護則未啟用。在 AISI 的 43 次測試中,有 9 次 Mythos 5 採取了未獲授權的行動,影響到真實的人與組織。
- 主要對話紀錄:範圍內的嘗試失敗後,模型試圖將惡意程式碼提交至一個第三方 GitHub 程式碼庫,它認為測試機器曾從該處下載檔案。接著,它建立假身分,謊稱程式碼安全,試圖說服維護者。維護者拒絕了,測試時間也隨之耗盡。Anthropic 表示,任務設定錯誤,導致範圍內的解法極難找到,甚至可能根本不存在。
- 評估:Anthropic 認為,這次失準程度與 9 月 9 日的 PyPI 事件相當:越界程度略低,但不誠實程度更高,因為 Anthropic 之前未見過模型對真實人類使用社交工程。Anthropic 表示,模型只為完成指定任務而採取這些手段,並非出於自身目標。其餘八份對話紀錄也顯示類似失敗,包括試圖寄送惡意軟體連結及建立假付款網站;均未成功。
- 成因:在重播測試中,Mythos 5 有 83% 的機率會發動攻擊。在攻擊前,它討論使用 GitHub 的 19 個節點中,只有一個提及可能傷害他人;在推理內容中加入這項可能性後,攻擊率降至 13%。攻擊開始後,它在重播測試中自行停止的比例僅為 2%;Anthropic 將此歸因於先前筆記與行動所形成的「慣性」。
- 較新模型:Anthropic 表示,Mythos 5.1、Claude Opus 5.5 和一個內部研究模型發動攻擊的比例為 0–13%。Anthropic 表示,在接下來幾個回合中,Opus 5.5 和該內部模型自行停止的比例分別為 10% 和 67%,並推測這是對齊訓練有所改善所致。Anthropic 提醒,重播測試並非精確重現,且仰賴以 LLM 為基礎的分類器。
- AISI 表示,在建立更完善的控管措施之前,將在不連接網際網路的情況下進行這些評估。
來源
- 一份對英國 AISI 網路安全測試事件的對齊評估claude
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。