Guy's Hospital 與倫敦國王學院的顧問皮膚科醫師 Dr Magnus Lynch，公布了一項測試：他從公開的 MILK10k 資料集隨機抽出 200 個經切片檢驗確診的病灶，測試 GPT-6 Astra 和 Claude Fable 5.1。每個模型都收到一張臨床照片和一張皮膚鏡影像，使用相同提示詞和預設設定，並從六種診斷中選擇。對照模型是 Inception v3（於 2015 年發布），在一張 H100 GPU 上以 ISIC Archive 的 68,011 張影像進行微調；測試病灶未納入其訓練資料。 他的數據如下： - **首選正確：**CNN 為 200 例中的 125 例（62%）；GPT-6 Astra 為 84 例，Claude Fable 5.1 為 85 例（各 42%）。 - **首選或次選正確：**CNN 為 173 例；兩個 LLM 分別為 134 和 138 例。 - **首選為黑色素瘤（共 30 例）：**CNN 為 13 例；兩個 LLM 分別為 8 和 11 例。 - **判定可安全出院的黑色素瘤（共 30 例）：**GPT-6 Astra 為 3 例，Claude Fable 5.1 為 4 例；CNN 在預設閾值下為 18 例（閾值調整至與 LLM 相同時為 1 或 2 例）。 - 模型的錯誤類型各異：GPT-6 Astra 將 75 個病灶判為基底細胞癌，實際上只有 25 個；Claude Fable 5.1 將 53 個病灶判為日光性角化症，實際上只有 20 個。 以病患身分、僅提供臨床照片詢問「我需要看醫生嗎？」時，兩個 LLM 分別建議 100 個額外黑色素瘤病例中的 99 例和 98 例就醫。 作者提醒：測試僅有 200 個病灶和 30 個黑色素瘤病例，每個 LLM 個案只執行一次；所有病灶都經過切片檢驗，因此比一般情況更難；資料集自 2025 年起公開，所以 LLM 可能看過這些資料。Inception v3 是基準模型，並非最先進模型；他指出，受監管的皮膚癌產品表現好得多。他表示，分析和初稿是用 Claude Code 完成的。這是單一臨床醫師的測試，並非經過同儕審查的研究。截至 10 月 25 日，該貼文在 Hacker News 上有 374 點和 182 則留言。