AI Chatbots Semakin 'Gila'

Gelombang sistem "inferens" baharu daripada syarikat seperti OpenAI menjadikan maklumat salah berlaku lebih kerap. Bahayanya ialah syarikat tidak tahu mengapa.

Pada bulan April, bot AI yang mengendalikan sokongan teknikal untuk Cursor, alat baru muncul untuk pengaturcara, memberitahu beberapa pelanggan tentang perubahan dalam dasar syarikat, secara khusus mengatakan bahawa mereka tidak lagi dibenarkan menggunakan Kursor pada lebih daripada satu komputer.

Pelanggan menyiarkan kemarahan mereka di forum dan media sosial. Malah ada yang membatalkan akaun Kursor mereka. Tetapi ada yang lebih marah apabila mereka menyedari apa yang telah berlaku: bot AI telah melaporkan perubahan dasar yang tidak wujud.

"Kami tidak mempunyai dasar sedemikian. Anda sudah tentu boleh menggunakan Kursor pada berbilang mesin. Malangnya, ini adalah tindak balas yang salah daripada bot berkuasa AI," Michael Truell, Ketua Pegawai Eksekutif dan pengasas bersama syarikat, menulis dalam siaran Reddit.

Maklumat palsu tidak terkawal.

Lebih daripada dua tahun selepas pelancaran ChatGPT, syarikat teknologi, pekerja pejabat dan pengguna harian menggunakan bot AI untuk pelbagai tugas dengan kekerapan yang semakin meningkat.

Namun tiada cara untuk memastikan sistem ini menghasilkan maklumat yang tepat. Secara paradoks, teknologi baharu yang paling berkuasa, yang dikenali sebagai sistem "inferens" daripada syarikat seperti OpenAI, Google dan DeepSeek, membuat lebih banyak ralat.

Perbualan ChatGPT mengarut di mana pengguna bertanya sama ada anjing perlu makan bijirin. Foto: Reddit.

Walaupun kemahiran matematik telah meningkat secara mendadak, keupayaan model bahasa besar (LLM) untuk menangkap kebenaran menjadi lebih goyah. Yang menghairankan, walaupun jurutera sendiri tidak jelas mengapa.

Menurut New York Times , chatbots AI hari ini bergantung pada sistem matematik yang kompleks untuk mempelajari kemahiran dengan menganalisis sejumlah besar data digital. Walau bagaimanapun, mereka tidak boleh memutuskan apa yang betul dan apa yang salah.

Dari situ, keadaan "halusinasi" atau rekaan sendiri maklumat muncul. Malah, menurut penyelidikan, generasi terkini LLM malah "halusinasi" lebih daripada beberapa model lama.

Khususnya, dalam laporan terkini, OpenAI mendapati bahawa model o3 "berhalusinasi" apabila menjawab 33% soalan mengenai PersonQA, piawaian dalaman syarikat untuk mengukur ketepatan pengetahuan model tentang manusia.

Sebagai perbandingan, ini adalah dua kali ganda kadar "halusinasi" model penaakulan OpenAI sebelumnya, o1 dan o3-mini, yang masing-masing mengalami 16% dan 14.8%. Sementara itu, model o4-mini menunjukkan prestasi yang lebih teruk pada PersonQA, mengalami "halusinasi" 48% pada masa itu.

Lebih membimbangkan, "bapa ChatGPT" sebenarnya tidak tahu mengapa ini berlaku. Secara khusus, dalam laporan teknikal mengenai o3 dan o4-mini, OpenAI menulis bahawa "penyelidikan lanjut diperlukan untuk memahami mengapa "ilusi" menjadi lebih teruk" sebagai skala model penaakulan.

O3 dan o4-mini berprestasi lebih baik dalam beberapa kawasan, termasuk pengaturcaraan dan tugasan berkaitan matematik. Walau bagaimanapun, kerana mereka perlu "membuat lebih banyak kenyataan daripada generalisasi," kedua-dua model mengalami masalah menghasilkan "penyataan yang lebih betul, tetapi juga lebih banyak pernyataan yang salah."

"Itu tidak akan hilang"

Daripada set peraturan ketat yang ditentukan oleh jurutera manusia, sistem LLM menggunakan kebarangkalian matematik untuk meneka tindak balas terbaik. Oleh itu, mereka sentiasa membuat sedikit kesilapan.

"Walaupun usaha terbaik kami, model AI akan sentiasa menjadi khayalan. Itu tidak akan hilang," kata Amr Awadallah, bekas eksekutif Google.

Menurut IBM, halusinasi ialah fenomena di mana model bahasa besar (LLM) - biasanya chatbots atau alat penglihatan komputer - menerima corak data yang tidak wujud atau tidak dapat dikenali oleh manusia, lantas menghasilkan hasil yang tidak bermakna atau mengelirukan. Foto: iStock.

Dalam kertas terperinci tentang eksperimen, OpenAI berkata ia memerlukan lebih banyak penyelidikan untuk memahami sebab keputusan ini.

Oleh kerana sistem AI belajar daripada jumlah data yang lebih besar daripada yang dapat difahami oleh manusia, sukar untuk menentukan sebab mereka berkelakuan sedemikian, kata pakar.

"Ilusi sememangnya lebih biasa dalam model inferens, walaupun kami sedang giat berusaha untuk mengurangkan kejadian yang dilihat dalam o3 dan o4-mini. Kami akan terus mengusahakan ilusi merentas semua model untuk meningkatkan ketepatan dan kebolehpercayaan," kata Gaby Raila, jurucakap OpenAI.

Ujian daripada berbilang syarikat bebas dan penyelidik menunjukkan bahawa kadar halusinasi juga meningkat untuk model inferens daripada syarikat seperti Google atau DeepSeek.

Sejak akhir 2023, syarikat Awadallah, Vectara, telah menjejaki kekerapan chatbots menyalahgambar maklumat. Syarikat itu meminta sistem untuk melaksanakan tugas yang ringkas dan mudah disahkan untuk meringkaskan artikel berita tertentu. Walaupun begitu, chatbots berterusan membuat maklumat.

Secara khusus, penyelidikan awal Vectara menganggarkan bahawa dalam senario ini, chatbots memalsukan maklumat sekurang-kurangnya 3% daripada masa, dan kadangkala sebanyak 27%.

Sepanjang setahun setengah yang lalu, syarikat seperti OpenAI dan Google telah mengurangkan angka tersebut kepada sekitar 1 atau 2%. Lain-lain, seperti Anthropic permulaan San Francisco, berlegar sekitar 4%.

Walau bagaimanapun, kadar halusinasi dalam ujian ini terus meningkat untuk sistem inferens. Kekerapan halusinasi meningkat sebanyak 14.3% untuk sistem inferens R1 DeepSeek, manakala o3 OpenAI meningkat sebanyak 6.8%.

Masalah lain ialah model inferens direka untuk menghabiskan masa "berfikir" tentang masalah yang kompleks, sebelum menghasilkan jawapan akhir.

Gesaan untuk menghalang AI daripada memalsukan maklumat telah dimasukkan oleh Apple dalam versi ujian pertama macOS 15.1. Foto: Reddit/devanxd2000.

Kelemahannya, bagaimanapun, ialah apabila model AI cuba menyelesaikan masalah langkah demi langkah, ia menjadi lebih terdedah kepada halusinasi pada setiap langkah. Lebih penting lagi, ralat boleh terkumpul apabila model menghabiskan lebih banyak masa untuk berfikir.

Bot terbaharu menunjukkan kepada pengguna setiap langkah, yang bermaksud pengguna juga boleh melihat setiap ralat. Penyelidik juga mendapati bahawa dalam banyak kes, proses pemikiran yang ditunjukkan oleh chatbot sebenarnya tidak berkaitan dengan jawapan akhir yang diberikannya.

"Apa yang sistem katakan ia membuat kesimpulan tidak semestinya apa yang sebenarnya difikirkannya," kata Aryo Pradipta Gema, penyelidik AI di Universiti Edinburgh dan sekutu di Anthropic.

Sumber: https://znews.vn/chatbot-ai-dang-tro-nen-dien-hon-post1551304.html