Дообученная CNN 2015 года лучше GPT-6 Astra и Claude Fable 5.1 распознаёт поражения кожи, сообщает дерматолог

Доктор Магнус Линч, консультант-дерматолог в больнице Guy's Hospital и King's College London, опубликовал результаты тестирования GPT-6 Astra и Claude Fable 5.1 на 200 поражениях, подтверждённых биопсией и случайно выбранных из общедоступного набора данных MILK10k. Каждая модель получила клиническую фотографию и дерматоскопическое изображение, одинаковый запрос и настройки по умолчанию, а затем выбирала один из шести диагнозов. Для сравнения использовалась Inception v3 (выпущенная в 2015 году), дообученная на 68 011 изображениях из ISIC Archive на одном GPU H100; тестовые поражения были исключены из обучающих данных.

Результаты:

• Правильный диагноз с первой попытки: CNN — 125 из 200 (62%); GPT-6 Astra — 84, Claude Fable 5.1 — 85 (по 42%).
• Правильный диагноз среди первых двух вариантов: CNN — 173; LLM — 134 и 138.
• Меланома указана первым диагнозом (из 30 случаев): CNN — 13; LLM — 8 и 11.
• Меланомы, признанные безопасными для выписки (из 30): GPT-6 Astra — 3, Claude Fable 5.1 — 4, CNN — 18 при пороге по умолчанию (1 или 2, если установить для неё порог, сопоставимый с порогами LLM).
• Модели ошибались по-разному: GPT-6 Astra назвала 75 поражений базальноклеточной карциномой, хотя их было 25, а Claude Fable 5.1 назвала 53 случая актиническим кератозом, хотя таких было 20.

На вопрос пациента с одной лишь клинической фотографией («нужно ли мне обратиться к врачу?») обе LLM рекомендовали обратиться к врачу в 99 и 98 случаях из 100 дополнительных меланом.

Оговорки автора: всего 200 поражений и 30 меланом, каждый случай для каждой LLM запускался один раз, биопсия была сделана для каждого поражения (поэтому выборка сложнее типичной), а набор данных общедоступен с 2025 года, так что LLM могли встречать его раньше. Inception v3 — базовый ориентир, а не модель на уровне современных разработок; автор отмечает, что зарегистрированные продукты для выявления рака кожи показывают значительно лучшие результаты. По его словам, анализ и первые черновики были подготовлены с помощью Claude Code. Это тест одного клинициста, а не рецензируемое исследование. К 25 октября публикация набрала 374 балла и 182 комментария на Hacker News.