Ein feinjustiertes CNN von 2015 schlägt GPT-6 Astra und Claude Fable 5.1 bei der Benennung von Hautläsionen, berichtet ein Dermatologe

Dr. Magnus Lynch, beratender Dermatologe am Guy’s Hospital und am King’s College London, veröffentlichte einen Test von GPT-6 Astra und Claude Fable 5.1 mit 200 histologisch bestätigten Läsionen, die zufällig aus dem öffentlichen Datensatz MILK10k ausgewählt wurden. Jedes Modell erhielt ein klinisches Foto und ein dermatoskopisches Bild, denselben Prompt und die Standardeinstellungen und wählte aus sechs Diagnosen aus. Das Vergleichsmodell war Inception v3 (veröffentlicht 2015), das auf einer H100-GPU mit 68.011 Bildern aus dem ISIC Archive feinjustiert wurde; die Testläsionen waren aus den Trainingsdaten entfernt worden.

Seine Zahlen:

• Richtige Erstwahl: das CNN 125 von 200 (62 %); GPT-6 Astra 84 und Claude Fable 5.1 85 (jeweils 42 %).
• Richtig bei erster oder zweiter Wahl: CNN 173; die LLMs 134 und 138.
• Melanom als erste Wahl (von 30): CNN 13; die LLMs 8 und 11.
• Als unbedenklich zur Entlassung eingestufte Melanome (von 30): GPT-6 Astra 3, Claude Fable 5.1 4, das CNN 18 bei seinem voreingestellten Schwellenwert (1 oder 2, wenn sein Schwellenwert an den der LLMs angepasst wurde).
• Die Modelle machten unterschiedliche Fehler: GPT-6 Astra stufte 75 Läsionen als Basalzellkarzinom ein, obwohl es nur bei 25 der Fall war; Claude Fable 5.1 stufte 53 als aktinische Keratose ein, obwohl es nur bei 20 der Fall war.

Auf die Frage aus Patientensicht, nur mit dem klinischen Foto („Muss ich zum Arzt?“), rieten beide LLMs in 99 beziehungsweise 98 von 100 weiteren Fällen von Melanomen zu einem Arztbesuch.

Die Vorbehalte des Autors: nur 200 Läsionen und 30 Melanome, jeder Fall wurde von jedem LLM nur einmal ausgewertet, alle Läsionen wurden biopsiert (also schwieriger als typische Fälle), und der Datensatz ist seit 2025 öffentlich, sodass die LLMs ihn möglicherweise gesehen haben. Inception v3 ist eine Basislinie, kein Stand der Technik; er merkt an, dass regulierte Produkte zur Erkennung von Hautkrebs deutlich besser abschneiden. Er sagt, Analyse und erste Entwürfe seien mit Claude Code erstellt worden. Die Ergebnisse stammen aus dem Test eines einzelnen Klinikers und sind keine peer-reviewte Studie. Bis zum 25. Oktober hatte der Beitrag auf Hacker News 374 Punkte und 182 Kommentare.