皮肤科医生报告称，经过微调的 2015 年 CNN 在皮损命名任务中胜过 GPT-6 Astra 和 Claude Fable 5.1

伦敦盖伊医院和伦敦国王学院的顾问皮肤科医生 Dr Magnus Lynch，发布了一项测试：在从公开数据集 MILK10k 中随机抽取的 200 个经活检确诊的皮损病例上，评估 GPT-6 Astra 和 Claude Fable 5.1。每个模型都会收到一张临床照片和一张皮肤镜图像，使用相同的提示词和默认设置，并从六种诊断中选择一种。对照模型是 Inception v3（发表于 2015 年），在一块 H100 GPU 上使用来自 ISIC Archive 的 68,011 张图像进行微调；测试病例已从训练数据中剔除。

他的数据如下：

• 首选诊断正确：CNN 为 200 例中的 125 例（62%）；GPT-6 Astra 为 84 例，Claude Fable 5.1 为 85 例（均为 42%）。
• 前两项选择中有正确诊断：CNN 为 173 例；两个 LLM 分别为 134 例和 138 例。
• 首选诊断为黑色素瘤（共 30 例）：CNN 为 13 例；两个 LLM 分别为 8 例和 11 例。
• 被判断为可安全出院的黑色素瘤（共 30 例）：GPT-6 Astra 为 3 例，Claude Fable 5.1 为 4 例；CNN 在预设阈值下为 18 例（将其阈值调整到与 LLM 相当时为 1 或 2 例）。
• 模型的失误模式各不相同：GPT-6 Astra 将 75 处皮损判断为基底细胞癌，而实际只有 25 处；Claude Fable 5.1 将 53 处判断为光化性角化病，而实际只有 20 处。

如果只提供临床照片，并以患者身份询问“我需要看医生吗？”，两种 LLM 都建议 100 例中分别有 99 例和 98 例进一步检查黑色素瘤。

作者列出的注意事项：样本只有 200 处皮损和 30 例黑色素瘤；每个 LLM 病例只运行一次；所有皮损都做了活检（因此比典型病例更难）；该数据集自 2025 年起公开，所以 LLM 可能见过这些数据。Inception v3 只是基准模型，并非最先进水平；他指出，受监管的皮肤癌产品表现要好得多。他表示，分析和初稿由 Claude Code 协助完成。这些结果来自一位临床医生的测试，并非同行评审研究。截至 10 月 25 日，该帖在 Hacker News 上获得 374 点和 182 条评论。