Kredit: Domain Publik CC0
Kecerdasan buatan (AI) saat ini tidak dapat lulus salah satu pemeriksaan radiologi yang memenuhi syarat, menunjukkan bahwa teknologi yang menjanjikan ini belum siap untuk menggantikan dokter, demikian temuan sebuah studi dalam The BMJ edisi Natal.
AI semakin banyak digunakan untuk beberapa tugas yang dilakukan dokter, seperti menafsirkan radiografi (sinar-X dan pemindaian) untuk membantu mendiagnosis berbagai kondisi.
Tetapi bisakah AI lulus ujian Fellowship of the Royal College of Radiologists (FRCR), yang harus dilakukan oleh peserta pelatihan Inggris untuk memenuhi syarat sebagai konsultan radiologi? Untuk mengetahuinya, para peneliti membandingkan kinerja alat AI yang tersedia secara komersial dengan 26 ahli radiologi (kebanyakan berusia antara 31 dan 40 tahun; 62% wanita) yang semuanya telah lulus ujian FRCR tahun sebelumnya.
Mereka mengembangkan 10 ujian pelaporan cepat “tiruan”, berdasarkan salah satu dari tiga modul yang membentuk ujian FRCR kualifikasi yang dirancang untuk menguji kandidat dalam hal kecepatan dan akurasi.
Setiap ujian tiruan terdiri dari 30 radiografi pada tingkat kesulitan yang sama atau lebih tinggi dan luasnya pengetahuan yang diharapkan untuk ujian FRCR yang sebenarnya. Untuk lulus, kandidat harus menginterpretasikan dengan benar setidaknya 27 (90%) dari 30 gambar dalam waktu 35 menit.
Kandidat AI telah dilatih untuk menilai radiografi dada dan tulang (muskuloskeletal) untuk beberapa kondisi termasuk patah tulang, sendi bengkak dan terkilir, dan paru-paru kolaps.
Kelonggaran dibuat untuk gambar yang berkaitan dengan bagian tubuh yang belum dilatih oleh kandidat AI, yang dianggap “tidak dapat ditafsirkan”.
Ketika gambar yang tidak dapat ditafsirkan dikeluarkan dari analisis, kandidat AI mencapai akurasi rata-rata keseluruhan 79,5% dan lulus dua dari 10 ujian FRCR tiruan, sedangkan ahli radiologi rata-rata mencapai akurasi rata-rata 84,8% dan lulus empat dari 10 ujian tiruan.
Sensitivitas (kemampuan untuk mengidentifikasi pasien dengan kondisi dengan benar) untuk kandidat AI adalah 83,6% dan spesifisitas (kemampuan untuk mengidentifikasi pasien tanpa kondisi dengan benar) adalah 75,2%, dibandingkan dengan 84,1% dan 87,3% di semua ahli radiologi.
Di 148 dari 300 radiografi yang diinterpretasikan dengan benar oleh lebih dari 90% ahli radiologi, kandidat AI benar pada 134 (91%) dan salah pada 14 sisanya (9%).
Dalam 20 dari 300 radiografi yang lebih dari separuh ahli radiologi salah menafsirkan, kandidat AI salah pada 10 (50%) dan benar pada 10 sisanya.
Menariknya, ahli radiologi sedikit melebih-lebihkan kemungkinan kinerja kandidat AI, dengan asumsi bahwa itu akan bekerja hampir sebaik rata-rata mereka sendiri dan mengungguli mereka dalam setidaknya tiga dari 10 ujian tiruan.
Namun, bukan itu masalahnya. Para peneliti mengatakan, “Pada kesempatan ini, kandidat kecerdasan buatan tidak dapat lulus salah satu dari 10 ujian pura-pura ketika ditandai dengan kriteria yang sama ketatnya dengan rekan manusianya, tetapi dapat melewati dua ujian pura-pura jika dispensasi khusus dibuat oleh RCR untuk mengecualikan gambar yang belum dilatih.”
Ini adalah temuan pengamatan dan para peneliti mengakui bahwa mereka hanya mengevaluasi satu alat AI dan menggunakan ujian pura-pura yang tidak diatur waktunya atau diawasi, sehingga ahli radiologi mungkin tidak merasakan banyak tekanan untuk melakukan yang terbaik seperti yang dilakukan dalam ujian nyata.
Namun demikian, penelitian ini adalah salah satu perbandingan silang yang lebih komprehensif antara ahli radiologi dan kecerdasan buatan, memberikan berbagai skor dan hasil untuk analisis.
Pelatihan dan revisi lebih lanjut sangat disarankan, mereka menambahkan, terutama untuk kasus-kasus yang dianggap “tidak dapat ditafsirkan” oleh kecerdasan buatan, seperti radiografi perut dan kerangka aksial.
AI dapat memfasilitasi alur kerja, tetapi masukan manusia masih penting, bantah para peneliti dalam tajuk rencana terkait.
Mereka mengakui bahwa menggunakan kecerdasan buatan “memiliki potensi yang belum dimanfaatkan untuk lebih memfasilitasi efisiensi dan akurasi diagnostik untuk memenuhi berbagai tuntutan perawatan kesehatan” tetapi mengatakan melakukannya dengan tepat “menyiratkan mendidik dokter dan masyarakat lebih baik tentang keterbatasan kecerdasan buatan dan menjadikannya lebih transparan. “
Penelitian dalam subjek ini sedang ramai, mereka menambahkan, dan studi ini menyoroti bahwa salah satu aspek dasar dari praktik radiologi—lulus pemeriksaan FRCR yang diperlukan untuk izin praktik—masih mendapat manfaat dari sentuhan manusia.
Informasi lebih lanjut: Bisakah kecerdasan buatan lulus ujian dari Royal College of Radiologists? Studi akurasi diagnostik multi-pembaca, The BMJ (2022). DOI: 10.1136/bmj-2022-072826 Disediakan oleh British Medical Journal
Kutipan: AI gagal lulus ujian kualifikasi radiologi (2022, 21 Desember) diambil 21 Desember 2022 dari https://medicalxpress.com/news/2022-12-ai-radiology-qualifying.html
Dokumen ini tunduk pada hak cipta. Terlepas dari kesepakatan yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.