Una CNN de 2015 ajustada con fine-tuning supera a GPT-6 Astra y Claude Fable 5.1 al identificar lesiones cutáneas, según un dermatólogo

El Dr. Magnus Lynch, dermatólogo consultor en Guy's Hospital y King's College London, publicó una prueba de GPT-6 Astra y Claude Fable 5.1 con 200 lesiones confirmadas mediante biopsia, seleccionadas al azar del conjunto de datos público MILK10k. Cada modelo recibió una fotografía clínica y una imagen dermatoscópica, la misma indicación y la configuración predeterminada, y eligió entre seis diagnósticos. El modelo de comparación fue Inception v3 (publicado en 2015), ajustado con fine-tuning con 68.011 imágenes del ISIC Archive en una GPU H100, tras excluir del entrenamiento las lesiones de prueba.

Sus cifras:

• Primera opción correcta: la CNN acertó 125 de 200 (62%); GPT-6 Astra, 84, y Claude Fable 5.1, 85 (42% cada uno).
• Correcto en la primera o segunda opción: CNN, 173; los LLM, 134 y 138.
• Melanoma como primera opción (de 30): CNN, 13; los LLM, 8 y 11.
• Melanomas considerados seguros para dar de alta (de 30): GPT-6 Astra, 3; Claude Fable 5.1, 4; la CNN, 18 con su umbral preestablecido (1 o 2 al ajustar su umbral al de los LLM).
• Los modelos fallaron de distintas maneras: GPT-6 Astra clasificó 75 lesiones como carcinoma basocelular cuando solo 25 lo eran, y Claude Fable 5.1 clasificó 53 como queratosis actínica cuando solo 20 lo eran.

Cuando se les preguntó, como si fueran un paciente y con solo la fotografía clínica («¿debería consultar a un médico?»), ambos LLM recomendaron consultar a un médico en 99 y 98 de 100 melanomas adicionales.

Las salvedades del autor: solo 200 lesiones y 30 melanomas, cada caso de los LLM se ejecutó una sola vez, todas las lesiones se sometieron a biopsia (por lo que eran más difíciles que las típicas) y el conjunto de datos es público desde 2025, así que es posible que los LLM lo hayan visto. Inception v3 es una referencia, no el estado del arte; señala que los productos regulados para el cáncer de piel ofrecen un rendimiento considerablemente mejor. Dice que el análisis y los primeros borradores se hicieron con Claude Code. Los resultados corresponden a la prueba de un solo médico, no a un estudio revisado por pares. Al 25 de octubre, la publicación tenía 374 puntos y 182 comentarios en Hacker News.