微調整した2015年製CNN、皮膚病変の診断でGPT-6 AstraとClaude Fable 5.1を上回ると皮膚科医が報告

Guy's HospitalとKing's College Londonの顧問皮膚科医Dr Magnus Lynchが、公開データセットMILK10kから無作為に選んだ生検で確定診断された病変200例を使い、GPT-6 AstraとClaude Fable 5.1を検証した。各モデルに臨床写真とダーモスコピー画像を提示し、同じプロンプトとデフォルト設定を使って、6つの診断から選ばせた。比較対象はInception v3（2015年公開）をISIC Archiveの画像68,011枚でH100 GPU 1基を使ってファインチューニングしたモデルで、テスト対象の病変は学習データから除外されている。

報告された数値は以下の通り。

• 最初の選択が正解： CNNは200例中125例（62%）、GPT-6 Astraは84例、Claude Fable 5.1は85例（どちらも42%）。
• 最初または2番目の選択が正解： CNNは173例、LLMは134例と138例。
• メラノーマを最初に選択（30例中）： CNNは13例、LLMは8例と11例。
• 退院させても安全と判断したメラノーマ（30例中）： GPT-6 Astraは3例、Claude Fable 5.1は4例、CNNは設定済みの閾値で18例（閾値をLLMに合わせると1例または2例）。
• モデルごとに誤り方は異なった。GPT-6 Astraは基底細胞がんではない病変を75例、基底細胞がんと判定（実際は25例）し、Claude Fable 5.1は日光角化症ではない病変を53例、日光角化症と判定（実際は20例）。

臨床写真だけを見せ、患者として「医師の診察を受ける必要がありますか？」と尋ねた場合、追加のメラノーマ100例のうち、両LLMともそれぞれ99例と98例で受診を勧めた。

著者が挙げた留意点は、対象が病変200例、メラノーマ30例に限られること、LLMの各症例での実行は1回のみであること、すべての病変が生検されているため通常の症例より難しいこと、そしてデータセットが2025年から公開されているため、LLMが見ていた可能性があること。Inception v3はベースラインであり、最先端モデルではない。規制対象の皮膚がん診断製品はかなり優れた性能を示すと著者は述べている。分析と初稿の作成にはClaude Codeを使ったという。これは一人の臨床医によるテストで、査読済み研究ではない。10月25日時点で、投稿にはHacker Newsで374ポイント、182件のコメントが付いていた。