त्वचा के घावों की पहचान में 2015 में प्रकाशित एक फ़ाइन-ट्यून किया गया CNN, GPT-6 Astra और Claude Fable 5.1 से बेहतर रहा: त्वचा-रोग विशेषज्ञ की रिपोर्ट

Guy's Hospital और King's College London के कंसल्टेंट त्वचा-रोग विशेषज्ञ Dr Magnus Lynch ने सार्वजनिक MILK10k डेटासेट से बेतरतीब ढंग से चुने गए, बायोप्सी से प्रमाणित 200 घावों पर GPT-6 Astra और Claude Fable 5.1 का परीक्षण प्रकाशित किया। हर मॉडल को एक क्लिनिकल फ़ोटो और एक डर्मोस्कोपिक तस्वीर दी गई, साथ में एक ही प्रॉम्प्ट और डिफ़ॉल्ट सेटिंग्स थीं, और छह निदानों में से एक चुनना था। तुलना के लिए Inception v3 (2015 में प्रकाशित) मॉडल था, जिसे एक H100 GPU पर ISIC Archive की 68,011 तस्वीरों से फ़ाइन-ट्यून किया गया था; परीक्षण के घावों को उसके प्रशिक्षण डेटा से हटा दिया गया था।

उनके नतीजे:

• पहला विकल्प सही: CNN ने 200 में से 125 (62%) मामलों में; GPT-6 Astra ने 84 और Claude Fable 5.1 ने 85 (दोनों 42%) मामलों में।
• पहले या दूसरे विकल्प में सही: CNN 173; LLM 134 और 138।
• पहले विकल्प के रूप में मेलेनोमा (30 में से): CNN 13; LLM 8 और 11।
• मेलेनोमा के ऐसे मामले जिन्हें सुरक्षित रूप से डिस्चार्ज किया जा सकता है (30 में से): GPT-6 Astra 3, Claude Fable 5.1 4, और CNN अपने तय थ्रेशोल्ड पर 18 (जब उसका थ्रेशोल्ड LLM के बराबर किया गया, तो 1 या 2)।
• मॉडल अलग-अलग तरह से चूके: GPT-6 Astra ने 75 घावों को बेसल सेल कार्सिनोमा कहा, जबकि ऐसे केवल 25 घाव थे; Claude Fable 5.1 ने 53 को एक्टिनिक केराटोसिस कहा, जबकि ऐसे 20 थे।

जब मरीज के रूप में केवल क्लिनिकल फ़ोटो दिखाकर पूछा गया ("क्या मुझे डॉक्टर को दिखाना चाहिए?"), तो दोनों LLM ने आगे के 100 मेलेनोमा मामलों में से क्रमशः 99 और 98 के लिए डॉक्टर को दिखाने की सलाह दी।

लेखक की सावधानियाँ: केवल 200 घाव और 30 मेलेनोमा शामिल थे, हर LLM केस सिर्फ़ एक बार चलाया गया, हर घाव की बायोप्सी हुई थी (इसलिए नमूना आम मामलों से अधिक कठिन था), और डेटासेट 2025 से सार्वजनिक है, इसलिए हो सकता है कि LLM इसे पहले देख चुके हों। Inception v3 एक बेसलाइन है, अत्याधुनिक मॉडल नहीं; वे बताते हैं कि विनियमित त्वचा-कैंसर उत्पाद इससे काफ़ी बेहतर प्रदर्शन करते हैं। उनका कहना है कि विश्लेषण और शुरुआती मसौदे Claude Code की मदद से बनाए गए थे। ये नतीजे एक चिकित्सक के परीक्षण के हैं, सहकर्मी-समीक्षित अध्ययन के नहीं। 25 अक्टूबर तक Hacker News पर पोस्ट को 374 पॉइंट और 182 टिप्पणियाँ मिली थीं।