Nationalgeographic.co.id—OpenAI, perusahaan laboratorium penelitian kecerdasan buatan dan pencipta ChatGPT yang fenomenal, belum lama ini telah meluncurkan secara resmi produk chat bot AI terbaru yaitu GPT-4. Chat bot terbaru mereka tersebut diklaim memiliki kemampuan yang jauh lebih baik dari versi sebelumnya.
Menurut orang-orang di OpenAI, chat bot terbaru mereka itu, menggunakan pembelajaran mesin yang dapat menghasilkan teks bahasa alami, lulus ujian bar dengan skor persentil ke-90, lulus 13 dari 15 ujian AP (Advance Placement), dan mendapat skor hampir sempurna pada tes Verbal GRE.
Namun, para peneliti di Brigham Young University (BYU) dan 186 universitas lain ingin tahu bagaimana teknologi OpenAI akan berhasil dalam ujian akuntansi.
Jadi, mereka menguji versi aslinya, ChatGPT. Para peneliti mengatakan bahwa meskipun masih ada pekerjaan yang harus dilakukan di bidang akuntansi, ini adalah pengubah permainan yang akan mengubah cara semua orang mengajar dan belajar — menjadi lebih baik.
Studi baru mereka tersebut telah diterbitkan di jurnal Issues in Accounting Education dengan judul "The ChatGPT Artificial Intelligence Chatbot: How Well Does It Answer Accounting Assessment Questions?"
“Ketika teknologi ini pertama kali muncul, semua orang khawatir bahwa siswa sekarang dapat menggunakannya untuk berbuat curang,” kata penulis studi utama David Wood, seorang profesor akuntansi BYU.
“Tapi peluang untuk berbuat curang selalu ada. Jadi bagi kami, kami mencoba untuk fokus pada apa yang dapat kami lakukan dengan teknologi ini sekarang," katanya.
"Yang sebelumnya tidak dapat kami lakukan untuk meningkatkan proses pengajaran untuk fakultas dan proses pembelajaran untuk siswa. Mengujinya sangat membuka mata."
Sejak debutnya pada November 2022, ChatGPT telah menjadi platform teknologi dengan pertumbuhan tercepat yang pernah ada, mencapai 100 juta pengguna dalam waktu kurang dari dua bulan.
Menanggapi perdebatan sengit tentang bagaimana model seperti ChatGPT harus memperhitungkan pendidikan, Wood memutuskan untuk merekrut sebanyak mungkin profesor untuk melihat bagaimana AI melawan mahasiswa akuntansi universitas yang sebenarnya.
Pitch perekrutan rekan penulisnya di media sosial meledak: 327 rekan penulis dari 186 lembaga pendidikan di 14 negara berpartisipasi dalam penelitian, menyumbangkan 25.181 pertanyaan ujian akuntansi kelas.
Mereka juga merekrut mahasiswa sarjana BYU (termasuk putri Wood, Jessica) untuk memberi umpan 2.268 pertanyaan bank tes buku teks lainnya ke ChatGPT.
Soal-soalnya meliputi sistem informasi akuntansi (SIA), audit, akuntansi keuangan, akuntansi manajerial dan pajak, dan bervariasi dalam kesulitan dan jenis (benar/salah, pilihan ganda, jawaban singkat, dan lain-lain).
Meskipun kinerja ChatGPT sangat mengesankan, para siswa tampil lebih baik. Siswa mencetak rata-rata keseluruhan 76,7%, dibandingkan dengan skor ChatGPT sebesar 47,4%. Pada 11,3% pertanyaan, ChatGPT mendapatkan skor lebih tinggi dari rata-rata siswa, terutama dalam AIS dan audit.
Tetapi bot AI lebih buruk dalam penilaian pajak, keuangan, dan manajerial, mungkin karena ChatGPT berjuang dengan proses matematika yang diperlukan untuk jenis yang terakhir.
Dalam hal jenis pertanyaan, ChatGPT lebih baik dalam pertanyaan benar/salah (68,7% benar) dan pertanyaan pilihan ganda (59,5%), tetapi kesulitan dengan pertanyaan jawaban singkat (antara 28,7% dan 39,1%).
Secara umum, pertanyaan tingkat tinggi lebih sulit dijawab oleh ChatGPT. Faktanya, terkadang ChatGPT akan memberikan deskripsi tertulis resmi untuk jawaban yang salah, atau menjawab pertanyaan yang sama dengan cara yang berbeda.
“Itu tidak sempurna; Anda tidak akan menggunakannya untuk semuanya,” kata Jessica Wood, yang saat ini menjadi mahasiswa baru di BYU. “Mencoba belajar hanya dengan menggunakan ChatGPT adalah tugas yang bodoh.”
Para peneliti juga menemukan beberapa tren menarik lainnya melalui penelitian ini, termasuk:
ChatGPT tidak selalu mengenali saat mengerjakan matematika dan membuat kesalahan yang tidak masuk akal seperti menambahkan dua angka dalam soal pengurangan, atau membagi angka dengan salah.
ChatGPT sering memberikan penjelasan atas jawabannya, meskipun jawabannya salah. Di lain waktu, deskripsi ChatGPT akurat, tetapi kemudian akan dilanjutkan dengan memilih jawaban pilihan ganda yang salah.
Baca Juga: Mengapa Media Sosial Berpengaruh Buruk pada Mental Orang Indonesia?
Baca Juga: ChatGPT Bisa Menulis Skripsi, AI Mengancam Masa Depan Dunia Akademis?
Baca Juga: Penggunaan AI dalam Percakapan dapat Menimbulkan Kesan Anti Sosial
Baca Juga: Penggunaan AI dalam Percakapan dapat Menimbulkan Kesan Anti Sosial
ChatGPT terkadang mengarang fakta. Misalnya, saat memberikan referensi, ini menghasilkan referensi yang tampak nyata yang sepenuhnya dibuat-buat. Karya dan terkadang penulisnya bahkan tidak ada.
Yang mengatakan, penulis sepenuhnya mengharapkan GPT-4 untuk meningkatkan secara eksponensial pada pertanyaan akuntansi yang diajukan dalam studi mereka, dan masalah yang disebutkan di atas.
Apa yang mereka temukan paling menjanjikan adalah bagaimana chatbot dapat membantu meningkatkan pengajaran dan pembelajaran, termasuk kemampuan merancang dan menguji tugas, atau mungkin digunakan untuk menyusun bagian proyek.
“Ini adalah kesempatan untuk merenungkan apakah kita mengajarkan informasi bernilai tambah atau tidak,” kata rekan penulis studi dan sesama profesor akuntansi BYU Melissa Larson.
“Ini adalah gangguan, dan kita perlu menilai ke mana kita belajar dari sini. Tentu saja, saya masih akan memiliki tugas akhir, tetapi ini akan memaksa kami untuk menggunakannya dengan cara yang berbeda.”