Studi ini berutujuan mengeksplorasi akurasi, konsistensi dan kualitas performa jawaban AI-LLM dalam menjawab persoalan kanker ginekologi yang kompleks. ChatGPT 4o, Gemini Advance dan Copilot adalah 3 AI-LLM populer yang menjadi bahan uji dalam riset ini. Pada bagian pertama, kami sajikan soal-soal pilihan ganda dengan berbagai tingkat kesulitan (mudah, sedang, sulit) ke masing-masing AI-LLM. Pengujian dilakukan sebanyak25x yang terbagi dalam 5 hari (1 hari = 5x uji). Didapati hasil Gemini Advance memberikan jawaban paling akurat (81.87%) dibandingkan kedua AI-LLM lainnya. Gemini Advance juga secara stabil memberikan jawaban akurat (>70%) pada setiap tingkat kesulitan soal.
Bagian kedua, adalah menilai konsistensi jawaban yang dihasilkan selama pengujian. Tercatat Gemini Advance secara konsisten (baca: jawaban selalu benar selama 25x pengujian) mampu meberikan akurasi >60% tiap harinya. Sebaliknya ChatGPT dan Copilot tercatat pernah memberikan jawaban yang selalu salah selama 25x uji yang menunjukkan adanya perlunya ruang untuk perbaikan bagi keduanya.
Pada bagian ketiga, sejumlah pertanyaan terbuka mengenai kanker ginekologi diujikan kepada ketiga AI-LLM. Semua jawaban yang dihasilkan AI-LLM akan dinilai oleh para konsultan onko-ginekologi. Kualitas jawaban dinilai memakai skala likert dengan menekankan aspek 渞elevansi, 渒ejelasan, 渒edalaman, 渇ocus dan 渒oherens sebagai parameternya. Didapati ChatGPT4o unggul tipis atas Gemini Advance dalam menjawab rekomendasi terapi yang sesuai dengan pedoman NCCN (National Comprehensive Cancer Network).
AI-LLM mempunyai potensi yang luar biasa dalam menghadirkan akurasi dan konsistensi jawaban yang baik dalam menangani problem kompleks di kanker ginekologi. Pemanfaatan AI-LLM di bidang medis diharapkan dapat meningkatkan kualitas layanan dan meminimalisir kesalahan diagnostik dan terapi. Di sisi lain, manusia harus tetap menjalankan fugsi supervisi dan validasi atas semua hasil jawaban kecerdasan buatan. Menempatkan AI-LLM di posisi yang tepat akan meberikan banyak manfaat dalam dunia Kesehatan.
Penulis: Khanisyah Erza Gumilar, dr., Sp.OG.
Detail tulisan ini dapat dilihat di:
