Un CNN de 2015 ajusté bat GPT-6 Astra et Claude Fable 5.1 pour identifier des lésions cutanées, rapporte un dermatologue

Le Dr Magnus Lynch, dermatologue consultant au Guy's Hospital et au King's College London, a publié un test de GPT-6 Astra et Claude Fable 5.1 sur 200 lésions confirmées par biopsie, tirées au hasard du jeu de données public MILK10k. Chaque modèle a reçu une photo clinique et une image dermoscopique, le même prompt et les paramètres par défaut, puis a choisi parmi six diagnostics. Le modèle de comparaison était Inception v3 (publié en 2015), ajusté sur 68,011 images des archives ISIC sur un seul GPU H100, les lésions du test ayant été retirées de ses données d'entraînement.

Ses résultats :

• Bon premier choix : le CNN, 125 sur 200 (62 %) ; GPT-6 Astra, 84, et Claude Fable 5.1, 85 (42 % chacun).
• Bon choix en première ou deuxième position : CNN, 173 ; les LLM, 134 et 138.
• Mélanomes en premier choix (sur 30) : CNN, 13 ; les LLM, 8 et 11.
• Mélanomes jugés sans danger pour une sortie (sur 30) : GPT-6 Astra, 3 ; Claude Fable 5.1, 4 ; le CNN, 18 avec son seuil prédéfini (1 ou 2 lorsque son seuil était ajusté à celui des LLM).
• Les modèles se sont trompés de façons différentes : GPT-6 Astra a diagnostiqué un carcinome basocellulaire pour 75 lésions, alors que 25 seulement en étaient ; Claude Fable 5.1 a diagnostiqué une kératose actinique pour 53 lésions, alors que 20 seulement en étaient.

À la question posée comme si l'on était patient, avec seulement la photo clinique (« dois-je consulter un médecin ? »), les deux LLM ont conseillé de consulter pour 99 et 98 des 100 mélanomes supplémentaires.

Les réserves de l'auteur : seulement 200 lésions et 30 mélanomes, chaque cas soumis une seule fois à chaque LLM, toutes les lésions ayant été biopsiées (ce qui rend le test plus difficile que dans des conditions habituelles), et le jeu de données étant public depuis 2025, les LLM ont pu le voir. Inception v3 est une référence de base, et non un modèle à la pointe ; il précise que les produits réglementés de détection du cancer de la peau donnent de bien meilleurs résultats. Il indique que l'analyse et les premières versions du texte ont été réalisées avec Claude Code. Ces résultats sont ceux du test d'un seul clinicien, et non d'une étude évaluée par les pairs. Le billet avait recueilli 374 points et 182 commentaires sur Hacker News au 25 octobre.