Een gefinetunede CNN uit 2015 verslaat GPT-6 Astra en Claude Fable 5.1 bij het herkennen van huidlaesies, meldt een dermatoloog

Dr. Magnus Lynch, consulent-dermatoloog bij Guy's Hospital en King's College London, publiceerde een test van GPT-6 Astra en Claude Fable 5.1 op 200 bioptbevestigde laesies, willekeurig geselecteerd uit de openbare dataset MILK10k. Elk model kreeg een klinische foto en een dermatoscopisch beeld, dezelfde prompt en de standaardinstellingen, en koos uit zes diagnoses. Het vergelijkingsmodel was Inception v3 (gepubliceerd in 2015), gefinetuned op 68.011 beelden uit het ISIC Archive op één H100-GPU; de testlaesies waren uit de trainingsdata verwijderd.

Zijn cijfers:

• Juiste eerste keuze: de CNN 125 van de 200 (62%); GPT-6 Astra 84 en Claude Fable 5.1 85 (elk 42%).
• Juist bij de eerste of tweede keuze: de CNN 173; de LLM's 134 en 138.
• Melanoom als eerste keuze (van de 30): de CNN 13; de LLM's 8 en 11.
• Melanomen die veilig konden worden ontslagen (van de 30): GPT-6 Astra 3, Claude Fable 5.1 4, de CNN 18 bij de vooraf ingestelde drempel (1 of 2 wanneer de drempel was afgestemd op die van de LLM's).
• De modellen maakten verschillende fouten: GPT-6 Astra noemde 75 laesies basaalcelcarcinoom, terwijl dat er 25 waren; Claude Fable 5.1 noemde 53 laesies actinische keratose, terwijl dat er 20 waren.

Op de vraag van een patiënt met alleen de klinische foto («moet ik naar een arts?») adviseerden beide LLM's om bij 99 en 98 van 100 extra melanomen een arts te raadplegen.

De kanttekeningen van de auteur: slechts 200 laesies en 30 melanomen, elke LLM-casus werd één keer uitgevoerd, van elke laesie was een biopt genomen (dus de gevallen waren moeilijker dan gebruikelijk), en de dataset is sinds 2025 openbaar, dus de LLM's kunnen deze hebben gezien. Inception v3 is een baseline, geen state-of-the-artmodel; hij merkt op dat gereguleerde producten voor huidkanker aanzienlijk beter presteren. Hij zegt dat de analyse en eerste versies zijn gemaakt met Claude Code. De resultaten zijn een test door één arts, geen peer-reviewed onderzoek. Het bericht had op 25 oktober 374 punten en 182 reacties op Hacker News.