Uma CNN de 2015 ajustada supera GPT-6 Astra e Claude Fable 5.1 na identificação de lesões de pele, relata dermatologista

Dr. Magnus Lynch, dermatologista consultor no Guy's Hospital e no King's College London, publicou um teste de GPT-6 Astra e Claude Fable 5.1 com 200 lesões confirmadas por biópsia, escolhidas aleatoriamente do conjunto de dados público MILK10k. Cada modelo recebeu uma foto clínica e uma imagem dermatoscópica, o mesmo prompt e as configurações padrão, e escolheu entre seis diagnósticos. O modelo de comparação foi o Inception v3 (publicado em 2015), ajustado com 68.011 imagens do ISIC Archive em uma GPU H100, com as lesões do teste removidas dos dados de treinamento.

Os resultados:

• Primeira opção correta: a CNN acertou 125 de 200 (62%); GPT-6 Astra, 84, e Claude Fable 5.1, 85 (42% cada).
• Correta entre a primeira e a segunda opções: CNN, 173; os LLMs, 134 e 138.
• Melanoma como primeira opção (de 30): CNN, 13; os LLMs, 8 e 11.
• Melanomas considerados seguros para receber alta (de 30): GPT-6 Astra, 3; Claude Fable 5.1, 4; a CNN, 18 no limite padrão (1 ou 2 quando o limite foi ajustado para corresponder ao dos LLMs).
• Os modelos erraram de maneiras diferentes: GPT-6 Astra classificou 75 lesões como carcinoma basocelular, embora apenas 25 fossem; Claude Fable 5.1 classificou 53 como queratose actínica, embora apenas 20 fossem.

Quando questionados como se fossem um paciente, com apenas a foto clínica (“preciso consultar um médico?”), os dois LLMs recomendaram uma consulta médica para 99 e 98 de 100 melanomas adicionais.

As ressalvas do autor: apenas 200 lesões e 30 melanomas; cada caso foi testado uma única vez por LLM; todas as lesões foram biopsiadas (portanto, eram mais difíceis do que as típicas); e o conjunto de dados é público desde 2025, então os LLMs podem tê-lo visto. Inception v3 é uma referência básica, não o estado da arte; ele observa que produtos regulamentados para câncer de pele têm desempenho consideravelmente melhor. Ele afirma que a análise e os primeiros rascunhos foram feitos com Claude Code. Os resultados são de um teste de um único médico, não de um estudo revisado por pares. Até 25 de outubro, a publicação tinha 374 pontos e 182 comentários no Hacker News.