Dostrojona sieć CNN z 2015 r. lepiej rozpoznaje zmiany skórne niż GPT-6 Astra i Claude Fable 5.1 — informuje dermatolog

Dr Magnus Lynch, konsultant dermatologii w Guy's Hospital i King's College London, opublikował test GPT-6 Astra i Claude Fable 5.1 na 200 zmianach potwierdzonych biopsją i wylosowanych z publicznego zbioru danych MILK10k. Każdy model otrzymał zdjęcie kliniczne i obraz dermatoskopowy, ten sam prompt i ustawienia domyślne oraz wybierał spośród sześciu diagnoz. Modelem porównawczym był Inception v3 (opublikowany w 2015 r.), dostrojony na 68 011 obrazach z ISIC Archive na jednym GPU H100; zmiany użyte w teście wykluczono z danych treningowych.

Wyniki:

• Poprawna pierwsza odpowiedź: CNN — 125 z 200 (62%); GPT-6 Astra — 84, a Claude Fable 5.1 — 85 (po 42%).
• Poprawna odpowiedź na pierwszym lub drugim miejscu: CNN — 173; LLM-y — 134 i 138.
• Czerniak jako pierwsza odpowiedź (spośród 30): CNN — 13; LLM-y — 8 i 11.
• Czerniaki uznane za niewymagające dalszej opieki (spośród 30): GPT-6 Astra — 3, Claude Fable 5.1 — 4, CNN — 18 przy domyślnym progu (1 lub 2 po dostosowaniu jego progu do progów LLM-ów).
• Modele popełniały różne błędy: GPT-6 Astra uznał 75 zmian za raka podstawnokomórkowego, choć takich przypadków było 25, a Claude Fable 5.1 uznał 53 zmiany za rogowacenie słoneczne, choć takich przypadków było 20.

Zapytane z perspektywy pacjenta, wyłącznie na podstawie zdjęcia klinicznego („czy powinienem zgłosić się do lekarza?”), oba LLM-y zaleciły wizytę u lekarza w przypadku 99 i 98 spośród 100 kolejnych czerniaków.

Zastrzeżenia autora: tylko 200 zmian i 30 czerniaków, każdy przypadek przetestowany przez LLM tylko raz, biopsja wykonana dla każdej zmiany (co czyni próbę trudniejszą niż typowe przypadki), a zbiór danych jest publicznie dostępny od 2025 r., więc LLM-y mogły mieć z nim styczność. Inception v3 to model bazowy, a nie najnowocześniejsze rozwiązanie; autor zauważa, że regulowane produkty do wykrywania raka skóry osiągają znacznie lepsze wyniki. Analiza i pierwsze wersje tekstu powstały z pomocą Claude Code. Wyniki pochodzą z testu przeprowadzonego przez jednego klinicystę i nie są badaniem recenzowanym naukowo. Do 25 października wpis miał 374 punkty i 182 komentarze na Hacker News.