CNN yang di-fine-tune dari 2015 mengungguli GPT-6 Astra dan Claude Fable 5.1 dalam mengenali lesi kulit, menurut seorang dokter kulit

Dr. Magnus Lynch, dokter spesialis kulit konsultan di Guy's Hospital dan King's College London, menerbitkan pengujian GPT-6 Astra dan Claude Fable 5.1 pada 200 lesi yang terbukti melalui biopsi dan dipilih secara acak dari set data publik MILK10k. Setiap model mendapat foto klinis dan gambar dermoskopi, prompt yang sama dan pengaturan default, lalu memilih di antara enam diagnosis. Model pembandingnya adalah Inception v3 (dirilis pada 2015), yang di-fine-tune menggunakan 68.011 gambar dari ISIC Archive pada satu GPU H100, dengan lesi uji dikeluarkan dari data pelatihannya.

Angka yang dilaporkannya:

• Pilihan pertama yang benar: CNN 125 dari 200 (62%); GPT-6 Astra 84 dan Claude Fable 5.1 85 (masing-masing 42%).
• Benar pada pilihan pertama atau kedua: CNN 173; LLM 134 dan 138.
• Melanoma sebagai pilihan pertama (dari 30): CNN 13; LLM 8 dan 11.
• Melanoma yang dinilai aman untuk dipulangkan (dari 30): GPT-6 Astra 3, Claude Fable 5.1 4, CNN 18 pada ambang bawaan (1 atau 2 jika ambangnya disamakan dengan ambang LLM).
• Model-model tersebut membuat kesalahan yang berbeda: GPT-6 Astra menyebut 75 lesi sebagai karsinoma sel basal, padahal jumlahnya 25; Claude Fable 5.1 menyebut 53 lesi sebagai keratosis aktinik, padahal jumlahnya 20.

Saat ditanya sebagai pasien dengan foto klinis saja ("apakah saya perlu menemui dokter?"), kedua LLM menyarankan untuk menemui dokter pada 99 dan 98 dari 100 kasus melanoma tambahan.

Catatan kehati-hatian dari penulis: hanya 200 lesi dan 30 melanoma, setiap kasus LLM dijalankan sekali, semua lesi dibiopsi (sehingga lebih sulit daripada kasus yang umum), dan set data tersebut sudah tersedia untuk publik sejak 2025, jadi LLM mungkin pernah melihatnya. Inception v3 adalah tolok ukur dasar, bukan yang tercanggih; ia mencatat bahwa produk kanker kulit yang telah mendapat izin regulasi memiliki kinerja yang jauh lebih baik. Ia mengatakan analisis dan draf awal dibuat dengan Claude Code. Hasil ini berasal dari pengujian seorang klinisi, bukan studi tinjauan sejawat. Hingga 25 Oktober, unggahan tersebut mendapat 374 poin dan 182 komentar di Hacker News.