İnce ayar yapılmış 2015 tarihli bir CNN, cilt lezyonlarını adlandırmada GPT-6 Astra ve Claude Fable 5.1'i geride bıraktı; bir dermatolog bildirdi

Guy's Hospital ve King's College London'da danışman dermatolog olan Dr Magnus Lynch, kamuya açık MILK10k veri kümesinden rastgele seçilen ve biyopsiyle doğrulanmış 200 lezyon üzerinde GPT-6 Astra ve Claude Fable 5.1'i test etti. Her modele bir klinik fotoğraf ve bir dermoskopik görüntü verildi; aynı istem ve varsayılan ayarlar kullanıldı ve modeller altı tanı arasından seçim yaptı. Karşılaştırma modeli, bir H100 GPU'da ISIC Archive'dan alınan 68.011 görüntüyle ince ayar yapılmış Inception v3'tü (2015'te yayımlandı); test lezyonları eğitim verilerinden çıkarılmıştı.

Bulguları:

• İlk tercihte doğru: CNN 200'de 125 (%62); GPT-6 Astra 84, Claude Fable 5.1 ise 85 (%42'şer).
• İlk veya ikinci tercihte doğru: CNN 173; LLM'ler 134 ve 138.
• İlk tercih olarak melanom (30 vakadan): CNN 13; LLM'ler 8 ve 11.
• Taburcu edilmesi güvenli bulunan melanomlar (30 vakadan): GPT-6 Astra 3, Claude Fable 5.1 4, CNN ise varsayılan eşikte 18 (eşiği LLM'lerinkiyle eşitlendiğinde 1 veya 2).
• Modeller farklı şekillerde başarısız oldu: GPT-6 Astra, gerçekte 25 olan lezyonun 75'ine bazal hücreli karsinom dedi; Claude Fable 5.1 ise gerçekte 20 olan lezyonun 53'üne aktinik keratoz dedi.

Yalnızca klinik fotoğraf gösterilip hasta gibi "doktora görünmem gerekir mi?" diye sorulduğunda, her iki LLM de 100 ek melanom vakasının sırasıyla 99'u ve 98'i için doktora görünmeyi önerdi.

Yazarın belirttiği sınırlamalar: yalnızca 200 lezyon ve 30 melanom kullanılması, her LLM vakasının bir kez çalıştırılması, her lezyona biyopsi yapılmış olması (dolayısıyla tipik vakalardan daha zor olmaları) ve veri kümesinin 2025'ten beri kamuya açık olması; bu nedenle LLM'ler veri kümesini görmüş olabilir. Inception v3, son teknoloji bir model değil, temel bir karşılaştırma noktası; yazar, düzenlemeye tabi cilt kanseri ürünlerinin çok daha iyi performans gösterdiğini belirtiyor. Analizin ve ilk taslakların Claude Code ile hazırlandığını söylüyor. Sonuçlar bir klinisyenin testine dayanıyor; hakem değerlendirmesinden geçmiş bir çalışma değil. Gönderi, 25 Ekim itibarıyla Hacker News'te 374 puan ve 182 yorum aldı.