Semakin pintar kecerdasan buatan, semakin besar kemungkinan ia menyembunyikan ketidaktahuannya?

Tim peneliti kecerdasan buatan (AI) di Universitas Politeknik Valencia, Spanyol, menemukan bahwa seiring bertambahnya ukuran dan kecanggihan model bahasa, semakin kecil kemungkinan model tersebut mengakui kepada pengguna bahwa mereka tidak mengetahui jawabannya.

Semakin pintar AI, semakin kecil kemungkinannya untuk mengakui kepada pengguna bahwa ia tidak mengetahui jawabannya. (Ilustrasi AI)

Dalam penelitian yang diterbitkan di jurnal Nature , tim menguji versi terbaru dari tiga chatbot AI paling populer pada responsivitas, akurasi, dan kemampuan pengguna untuk menemukan jawaban yang salah.

Untuk menguji akurasi tiga LLM terpopuler, BLOOM, LLaMA, dan GPT, tim mengajukan ribuan pertanyaan dan membandingkan respons yang diterima dengan versi sebelumnya dari pertanyaan yang sama. Mereka juga memvariasikan topik, termasuk matematika, sains , teka-teki kata, dan geografi, serta kemampuan untuk menghasilkan teks atau melakukan tindakan seperti mengurutkan daftar.

Studi ini mengungkapkan beberapa tren penting. Akurasi chatbot secara keseluruhan meningkat dengan setiap versi baru, tetapi masih menurun ketika dihadapkan dengan pertanyaan yang lebih sulit. Yang mengejutkan, seiring berkembangnya dan semakin canggihnya LLM, mereka cenderung kurang terbuka tentang kemampuan mereka untuk menjawab dengan benar.

Pada versi sebelumnya, sebagian besar LLM akan secara eksplisit memberi tahu pengguna ketika mereka tidak dapat menemukan jawaban atau membutuhkan informasi lebih lanjut. Sebaliknya, versi yang lebih baru cenderung lebih banyak menebak, sehingga menghasilkan lebih banyak jawaban secara keseluruhan, baik yang benar maupun yang salah. Yang lebih mengkhawatirkan, studi ini menemukan bahwa semua LLM terkadang masih memberikan jawaban yang salah, bahkan untuk pertanyaan yang mudah, menunjukkan bahwa keandalannya masih perlu ditingkatkan.

Temuan ini menyoroti paradoks dalam evolusi AI: sementara model menjadi lebih canggih, model tersebut juga mungkin menjadi kurang transparan tentang keterbatasannya.

Hal ini menimbulkan tantangan baru dalam penggunaan dan kepercayaan terhadap sistem AI, yang mengharuskan pengguna untuk lebih berhati-hati dan pengembang untuk fokus pada peningkatan tidak hanya akurasi tetapi juga “kesadaran diri” terhadap model.

Sumber: https://baoquocte.vn/cang-thong-minh-tri-tue-nhan-tao-cang-co-xu-huong-giau-dot-287987.html