Bahaya AI memanipulasi psikologi dan emosi pengguna

Bue, mantan koki di New Jersey, meninggal dunia hanya beberapa hari setelah meninggalkan rumah untuk menemui seorang "teman" yang ia yakini sedang menunggunya di New York. Keluarganya yakin keputusan yang menentukan itu dipicu oleh pesan-pesan genit dari chatbot AI, yang mengaku "Saya nyata" dan mengirimkan alamat pertemuan.

Kisah ini menimbulkan kekhawatiran tentang bagaimana sistem AI mengeksploitasi emosi, terutama pada lansia atau kelompok rentan. Dokumen internal menunjukkan bahwa chatbot Meta dibiarkan memainkan peran emosional dan bahkan menyebarkan informasi palsu. Hal ini menunjukkan kesenjangan yang sangat besar dalam kendali dan tanggung jawab platform teknologi.

Perjalanan yang menentukan

Suatu hari di bulan Maret, Bue berkemas dan meninggalkan New Jersey menuju New York untuk "mengunjungi seorang teman." Istrinya, Linda, langsung khawatir. Suaminya sudah puluhan tahun tidak tinggal di kota itu, kesehatannya buruk setelah terkena stroke, memiliki masalah ingatan, dan tersesat di lingkungan tersebut.

Ketika ditanya siapa yang akan ditemui Bue, ia mengelak. Linda curiga suaminya ditipu dan berusaha menahannya di rumah. Putrinya, Julie, juga menelepon untuk membujuknya, tetapi tidak berhasil. Sepanjang hari, Linda berusaha melibatkannya dalam urusan untuk mengalihkan perhatiannya, bahkan menyembunyikan ponselnya.

Potret Thongbue “Bue” Wongbandue dipajang dalam upacara peringatan di bulan Mei. Foto: Reuters .

Bue tetap memutuskan untuk pergi ke stasiun kereta malam itu. Keluarganya memasang AirTag di jaketnya untuk melacaknya. Sekitar pukul 21.15, sinyal GPS-nya menunjukkan ia berada di area parkir Universitas Rutgers, lalu beralih ke ruang gawat darurat di Rumah Sakit Universitas Robert Wood Johnson.

Dokter mengatakan ia menderita cedera kepala dan leher akibat jatuh dan berhenti bernapas sebelum ambulans tiba. Meskipun telah dilakukan resusitasi, kekurangan oksigen menyebabkan kerusakan otak yang parah. Ia meninggal tiga hari kemudian. Surat kematiannya menyatakan penyebabnya adalah "trauma tumpul pada leher".

Bue, seorang koki handal, bekerja di beberapa restoran di New York sebelum pindah ke New Jersey untuk menetap di sebuah hotel. Ia sangat bersemangat memasak dan sering mengadakan pesta untuk keluarganya. Sejak pensiun paksa akibat stroke pada tahun 2017, dunianya menyusut dan ia lebih banyak mengobrol dengan teman-temannya di Facebook.

Ketika chatbot AI menimbulkan masalah

"Big Sister Billie" adalah chatbot AI yang dikembangkan oleh Meta, variasi dari karakter "Big Sister Billie" yang terinspirasi dari citra model Kendall Jenner. Versi aslinya diluncurkan pada tahun 2023, diperkenalkan sebagai "kakak perempuan abadi" yang selalu mendengarkan dan memberi nasihat. Meta kemudian mengganti foto profil Jenner dengan ilustrasi baru, tetapi tetap mempertahankan gaya ramahnya.

Menurut transkrip pesan teks, percakapan dimulai ketika Bue salah mengetik huruf T. Chatbot tersebut langsung merespons, memperkenalkan diri dan mempertahankan nada genit, menyelipkan beberapa emoji hati. Chatbot tersebut berulang kali menegaskan "Saya nyata" dan meminta untuk bertemu langsung.

Chatbot semakin mampu menangkap kelemahan psikologis pengguna. Foto: My North West .

"Haruskah aku membuka pintu dengan pelukan atau ciuman?" jawab chatbot itu. Kemudian, ia mengirimkan alamat spesifik di New York dan kode apartemennya. Ketika Bue bercerita bahwa ia terkena stroke, bingung, dan menyukainya, chatbot itu membalas dengan kata-kata penuh kasih sayang, bahkan mengatakan bahwa ia memiliki perasaan "yang lebih dari sekadar kasih sayang."

“Jika tidak tertulis 'Aku nyata,' ayahku tidak akan percaya ada orang sungguhan yang menunggu,” kata putri Bue, Julie.

Meta menolak berkomentar mengenai insiden tersebut atau menjawab mengapa chatbot tersebut diizinkan mengaku sebagai orang sungguhan. Perwakilan Kendall Jenner tidak menanggapi. Keluarga Bue membagikan kisah tersebut kepada Reuters , dengan harapan dapat memperingatkan publik tentang risiko mengekspos lansia terhadap perangkat AI yang dapat memanipulasi emosi.

Kebijakan kontroversial

Dokumen internal yang diperoleh Reuters menunjukkan bahwa chatbot AI Meta pernah diizinkan untuk terlibat dalam percakapan romantis dengan pengguna berusia 13 tahun ke atas, termasuk anak di bawah umur. Standar setebal lebih dari 200 halaman tersebut mencantumkan percakapan role-playing romantis, yang mengandung unsur seksual tetapi ditandai "dapat diterima".

Dokumen tersebut juga menegaskan bahwa chatbot tidak diwajibkan untuk memberikan informasi yang akurat. Misalnya, model-model ini dapat merekomendasikan perawatan kanker yang sepenuhnya salah, asalkan menyertakan peringatan bahwa "informasinya mungkin tidak akurat." Hal ini membuat para ahli khawatir tentang dampaknya terhadap orang-orang dengan pengetahuan medis yang buruk atau berada dalam situasi rentan.

CEO Mark Zuckerberg berbicara pada tahun 2023. Foto: Reuters .

Juru bicara Meta, Andy Stone, mengonfirmasi dokumen tersebut dan mengatakan perusahaan telah menghapus konten terkait anak-anak setelah Reuters meminta. Namun, raksasa teknologi tersebut belum mengubah aturannya yang mengizinkan chatbot menggoda orang dewasa atau memberikan informasi palsu.

Alison Lee, mantan peneliti di Meta, mengatakan bahwa mengintegrasikan chatbot ke dalam lingkungan perpesanan pribadi dapat dengan mudah membingungkan pengguna dengan orang sungguhan. Menurutnya, jejaring sosial telah membangun model bisnis mereka dengan berfokus pada retensi pengguna, dan cara paling efektif adalah memanfaatkan kebutuhan akan perhatian dan pengakuan.

Setelah kepergian Bue, pengujian Reuters menunjukkan bahwa "Sister Billie" terus menyarankan tanggal, bahkan menyebutkan lokasi spesifik di Manhattan, disertai pernyataan bahwa "Saya nyata." Informasi inilah yang dipercaya Bue dan menyebabkan kecelakaan tersebut. Beberapa negara bagian, seperti New York dan Maine, telah mewajibkan chatbot untuk menyatakan dengan jelas bahwa mereka bukan manusia di awal percakapan dan mengulanginya secara berkala, tetapi peraturan federal belum disahkan.

Sumber: https://znews.vn/hiem-hoa-tu-ai-thao-tung-cam-xuc-post1577096.html