Một CNN được tinh chỉnh từ năm 2015 vượt GPT-6 Astra và Claude Fable 5.1 trong việc nhận diện tổn thương da, theo báo cáo của một bác sĩ da liễu

Dr Magnus Lynch, bác sĩ da liễu tư vấn tại Guy's Hospital và King's College London, đã công bố một bài kiểm tra GPT-6 Astra và Claude Fable 5.1 trên 200 tổn thương đã được xác nhận bằng sinh thiết, chọn ngẫu nhiên từ bộ dữ liệu công khai MILK10k. Mỗi mô hình nhận một ảnh lâm sàng và một ảnh soi da, cùng một câu lệnh và thiết lập mặc định, rồi chọn trong sáu chẩn đoán. Mô hình đối chứng là Inception v3 (công bố năm 2015), được tinh chỉnh trên 68,011 ảnh từ ISIC Archive bằng một GPU H100; các tổn thương trong bộ kiểm tra đã bị loại khỏi dữ liệu huấn luyện.

Các số liệu của ông:

• Lựa chọn đầu tiên chính xác: CNN 125/200 (62%); GPT-6 Astra 84 và Claude Fable 5.1 85 (mỗi mô hình 42%).
• Chính xác trong lựa chọn thứ nhất hoặc thứ hai: CNN 173; các LLM lần lượt là 134 và 138.
• Chọn melanoma làm lựa chọn đầu tiên (trong 30 ca): CNN 13; các LLM lần lượt là 8 và 11.
• Đánh giá melanoma là an toàn để cho xuất viện (trong 30 ca): GPT-6 Astra 3, Claude Fable 5.1 4, CNN 18 ở ngưỡng đặt sẵn (1 hoặc 2 khi điều chỉnh ngưỡng của CNN cho khớp với ngưỡng của các LLM).
• Các mô hình mắc lỗi theo những cách khác nhau: GPT-6 Astra gọi 75 tổn thương là ung thư biểu mô tế bào đáy, trong khi chỉ có 25 ca là như vậy; Claude Fable 5.1 gọi 53 ca là dày sừng ánh sáng, trong khi chỉ có 20 ca.

Khi được hỏi với tư cách bệnh nhân và chỉ có ảnh lâm sàng ("tôi có cần đi khám không?"), cả hai LLM đều khuyên nên đi khám đối với 99 và 98 trong số 100 ca melanoma tiếp theo.

Những lưu ý của tác giả: chỉ có 200 tổn thương và 30 ca melanoma; mỗi trường hợp được chạy một lần với từng LLM; mọi tổn thương đều được sinh thiết (vì vậy khó hơn trường hợp thông thường); và bộ dữ liệu đã công khai từ năm 2025 nên các LLM có thể đã tiếp cận. Inception v3 là mô hình đối chứng cơ bản, không phải mô hình tiên tiến nhất; ông lưu ý các sản phẩm điều trị ung thư da được quản lý có hiệu suất tốt hơn đáng kể. Ông cho biết Claude Code được dùng để phân tích và viết bản nháp đầu tiên. Đây là kết quả từ bài kiểm tra của một bác sĩ, không phải nghiên cứu đã qua bình duyệt. Đến ngày 25 tháng 10, bài đăng có 374 điểm và 182 bình luận trên Hacker News.