Untuk mendapatkan sampel besar dan beragam dari pertanyaan perawatan kesehatan dan jawaban dokter yang tidak berisi informasi pribadi yang dapat diidentifikasi, tim beralih ke media sosial tempat jutaan pasien secara publik memposting pertanyaan medis yang ditanggapi oleh dokter.
AskDocs adalah sub reddit dengan sekitar 452.000 anggota yang memposting pertanyaan medis dan profesional kesehatan terverifikasi mengirimkan jawaban.
Meski siapa pun dapat menjawab pertanyaan, moderator memverifikasi kredensial profesional kesehatan dan tanggapan menampilkan tingkat kredensial responden. Hasilnya adalah kumpulan pertanyaan medis pasien yang besar dan beragam serta jawaban yang menyertai dari profesional medis berlisensi.
Sementara beberapa orang mungkin bertanya-tanya apakah pertukaran tanya jawab di media sosial adalah ujian yang adil, anggota tim mencatat bahwa pertukaran itu mencerminkan pengalaman klinis mereka.
Tim secara acak mengambil sampel 195 pertukaran dari AskDocs ketika seorang dokter terverifikasi menjawab pertanyaan publik.
Tim memberikan pertanyaan asli ke ChatGPT dan memintanya untuk menulis tanggapan. Panel yang terdiri dari tiga profesional perawatan kesehatan berlisensi menilai setiap pertanyaan dan tanggapan yang sesuai dan tidak mengetahui apakah tanggapan tersebut berasal dari dokter atau ChatGPT.
Mereka membandingkan tanggapan berdasarkan kualitas informasi dan empati, mencatat mana yang mereka sukai.
Panel evaluator profesional kesehatan lebih memilih tanggapan ChatGPT daripada tanggapan dokter 79% saat itu.
“Pesan ChatGPT ditanggapi dengan informasi yang bernuansa dan akurat yang sering menjawab lebih banyak aspek pertanyaan pasien daripada tanggapan dokter,” kata Jessica Kelley, seorang praktisi perawat di firma Human Longevity San Diego dan rekan penulis studi.
Selain itu, respons ChatGPT dinilai secara signifikan lebih tinggi kualitasnya daripada respons dokter. Respons kualitas baik atau sangat baik 3,6 kali lebih tinggi untuk ChatGPT daripada dokter (dokter 22,1% versus ChatGPT 78,5%).
Baca Juga: Sains Terbaru: Oksimeter dan Alat Kedokteran Berbasis AI Bisa Bias