Sebuah jaringan saraf tiruan konvolusional (CNN) yang dikembangkan pada tahun 2015 berhasil mengungguli model bahasa besar (LLM) terkini dalam kemampuan mengenali lesi kanker kulit dari foto klinis dan mikroskopis. Hasil pengujian menunjukkan bahwa model jaringan lama yang telah disesuaikan ini memberikan tingkat akurasi diagnosis yang lebih tinggi dibandingkan kecerdasan buatan canggih saat ini.
Pengujian 200 Lesi Biopsi
Pengujian tersebut dilakukan oleh Dr Magnus Lynch, Konsultan Dermatolog dan Bedah Mohs di Guy’s Hospital serta Pembaca Kehormatan di King’s College London, seperti dilaporkan melalui Hacker News: Front Page (lynchlab.net). Ia menggunakan 200 lesi yang telah terbukti melalui biopsi dari dataset publik MILK10k yang dirilis melalui International Skin Imaging Collaboration pada tahun 2025. Setiap lesi memiliki dua foto, yaitu close-up klinis dan gambar dermoskopik melalui lensa pembesar.
Dari 200 sampel tersebut, separuhnya merupakan lesi yang tidak boleh dipulangkan yang terdiri dari 30 melanoma, 25 karsinoma sel basal, 25 karsinoma sel skuamosa, dan 20 keratosis aktinik. Separuh sisanya adalah lesi yang aman dipulangkan yang mencakup 50 tahi lalat jinak dan 50 keratosis seboroik. Seluruh lesi telah melalui proses biopsi, termasuk lesi jinak yang sempat dikhawatirkan oleh dokter.
Perbandingan Kinerja AI
Dalam pengujian ini, dua LLM terkemuka diberikan kedua foto tersebut beserta instruksi untuk memilih satu dari enam diagnosis, memberikan tingkat keyakinan, pilihan kedua, serta keputusan apakah pasien dapat dipulangkan tanpa pengobatan. Sementara itu, CNN yang digunakan adalah Inception v3—arsitektur lama buatan Google dari 2015—yang dilatih ulang menggunakan 68.011 gambar dari Arsip ISIC pada satu unit GPU H100, dengan memastikan data pengujian telah disingkirkan dari proses pelatihan.
CNN berhasil mendiagnosis dengan benar 125 dari 200 lesi atau sekitar 62 persen, sementara kedua LLM masing-masing hanya mencetak angka 84 dan 85 atau sekitar 42 persen. Ketika diberikan kesempatan untuk pilihan kedua, CNN mencapai 173 dari 200 kasus berbanding 134 dan 138 dari pihak LLM. CNN juga berhasil mengenali 13 dari 30 kasus melanoma, sedangkan LLM masing-masing hanya 8 dan 11.
Masing-masing model juga menunjukkan pola kesalahan yang berbeda. LLM memiliki kecenderungan jawaban favorit, di mana salah satu model menyebut 75 lesi sebagai karsinoma sel basal dan model lainnya menyebut 53 lesi sebagai keratosis aktinik. Sebaliknya, kesalahan CNN pada kasus melanoma terbagi menjadi delapan kasus tahi lalat dan enam kasus keratosis seboroik.
Catatan Pengujian dan Peran Serta
Pengujian ini memiliki beberapa keterbatasan, seperti jumlah sampel sebanyak 200 lesi yang dinilai cukup untuk menunjukkan pola namun belum memadai untuk merangking hasil yang berdekatan. Selain itu, setiap kasus LLM dijalankan satu kali dengan hasil yang dapat bervariasi antar-pengujian, dan model Inception v3 yang digunakan merupakan versi dasar yang belum mencakup teknologi pemindai mutakhir.
Ketika diuji dengan peran sebagai pasien menggunakan foto klinis tunggal dan pertanyaan apakah perlu menemui dokter, kedua LLM menyarankan untuk berkonsultasi dengan dokter pada hampir seluruh kasus, termasuk pada lesi yang tidak berbahaya, dengan mencakup 99 dan 98 dari 100 kasus melanoma tambahan.
Dr Magnus Lynch merancang pengujian ini dan menetapkan keputusan klinis, sementara analisis serta draf awal dikerjakan menggunakan alat pemrograman Claude Code dari Anthropic, dan seluruh proses penilaian dilakukan melalui skrip terhadap data histologi.
Sumber: Hacker News: Front Page
