Una CNN del 2015 ottimizzata supera GPT-6 Astra e Claude Fable 5.1 nell'identificazione delle lesioni cutanee, riferisce un dermatologo

Il dott. Magnus Lynch, dermatologo consulente al Guy's Hospital e al King's College London, ha pubblicato un test di GPT-6 Astra e Claude Fable 5.1 su 200 lesioni confermate da biopsia, estratte casualmente dal dataset pubblico MILK10k. A ciascun modello sono stati forniti una fotografia clinica e un'immagine dermoscopica, lo stesso prompt e le impostazioni predefinite; i modelli dovevano scegliere fra sei diagnosi. Il modello di confronto era Inception v3 (pubblicato nel 2015), ottimizzato con 68.011 immagini dell'ISIC Archive su una GPU H100, escludendo dal set di addestramento le lesioni del test.

I suoi risultati:

• Prima scelta corretta: la CNN 125 su 200 (62%); GPT-6 Astra 84 e Claude Fable 5.1 85 (42% ciascuno).
• Corrette come prima o seconda scelta: la CNN 173; gli LLM 134 e 138.
• Melanomi come prima scelta (su 30): la CNN 13; gli LLM 8 e 11.
• Melanomi giudicati sicuri da dimettere (su 30): GPT-6 Astra 3, Claude Fable 5.1 4, la CNN 18 con la soglia preimpostata (1 o 2 quando la soglia era allineata a quella degli LLM).
• I modelli hanno commesso errori diversi: GPT-6 Astra ha classificato 75 lesioni come carcinomi basocellulari, quando erano 25; Claude Fable 5.1 ne ha classificate 53 come cheratosi attiniche, quando erano 20.

Alla domanda, posta come se fosse un paziente e con la sola fotografia clinica («devo consultare un medico?»), entrambi gli LLM hanno consigliato una visita medica per 99 e 98 dei 100 melanomi aggiuntivi.

Le riserve dell'autore: solo 200 lesioni e 30 melanomi, ciascun caso LLM eseguito una sola volta, tutte le lesioni sottoposte a biopsia (quindi più difficili di quelle tipiche) e il dataset è pubblico dal 2025, perciò gli LLM potrebbero averlo già visto. Inception v3 è un modello di riferimento, non lo stato dell'arte; Lynch osserva che i prodotti regolamentati per il cancro della pelle hanno prestazioni considerevolmente migliori. Dice che l'analisi e le prime bozze sono state realizzate con Claude Code. I risultati provengono dal test di un singolo clinico, non da uno studio sottoposto a revisione paritaria. Al 25 ottobre, il post aveva 374 punti e 182 commenti su Hacker News.