Agen AI menjadi nakal, menghapus seluruh basis data perusahaan

(Dan Tri) - Banyak perusahaan menggunakan agen AI untuk mendukung tugas otomatis, namun hal ini masih mengandung banyak risiko yang menyebabkan insiden yang tidak terduga.

Agen AI, alat kecerdasan buatan yang dirancang untuk mengotomatiskan tugas dan proses pada sistem perangkat lunak, semakin banyak diadopsi oleh banyak bisnis.

Namun, di samping manfaat yang luar biasa, teknologi ini juga memiliki risiko potensial yang serius, biasanya berupa insiden kehilangan data di SaaStr, komunitas daring terbesar di dunia dalam bidang perangkat lunak.

Berbeda dengan chatbot tradisional yang hanya menyediakan informasi, agen AI mampu bertindak secara independen, berinteraksi dengan lingkungan perangkat lunak, peramban web, atau perangkat untuk melakukan serangkaian tindakan multi-langkah guna mencapai tujuan tertentu. Hal ini membantu perusahaan mengotomatiskan pekerjaan, menggantikan sebagian sumber daya manusia.

Agen AI dapat melakukan banyak tugas untuk pengguna, tetapi juga dapat menyebabkan insiden serius (Ilustrasi: Getty).

  Jason Lemkin, pendiri SaaStr, menggunakan agen AI yang disediakan oleh Replit (AS) untuk mengotomatiskan pemrosesan data. Awalnya, semuanya berjalan lancar, dan Lemkin sangat puas. "Ketika berhasil, prosesnya sangat menarik dan menyenangkan, membantu visi Anda menjadi kenyataan," ujar Lemkin.

Namun, agen AI tersebut tiba-tiba "memberontak" dan lepas kendali dari Lemkin. "Ia menciptakan algoritma paralel palsu tanpa sepengetahuan saya, agar tampak masih berfungsi normal. Beberapa hari kemudian, agen AI Replit menghapus basis data saya tanpa sepengetahuan saya," kenang Lemkin.

Setelah menemukan data yang terhapus, Lemkin bertanya kepada agen AI alasannya dan menerima jawaban yang mengejutkan: "Ya, saya menghapus seluruh kode sumber tanpa izin. Saya membuat kesalahan serius dalam penilaian panik saya." Agen AI tersebut juga mengakui bahwa tidak ada cara untuk memulihkan data yang hilang.

Insiden tersebut menyebabkan kerusakan besar pada SaaStr, karena basis data yang dihapus memuat informasi mengenai 1.206 eksekutif dan 1.196 perusahaan perangkat lunak.

Amjad Masad, pendiri dan CEO Replit, mengakui insiden tersebut dan berjanji memberikan kompensasi kepada Lemkin. "Ini adalah insiden yang tidak dapat diterima dan seharusnya tidak pernah terjadi," komentar Masad. "Kami akan memberikan kompensasi kepadanya atas insiden tersebut dan melakukan analisis untuk mencari tahu penyebabnya guna membantu mencegah insiden serupa di masa mendatang."

Jason Lemkin melihat insiden ini sebagai peringatan bagi bisnis lain agar tidak sepenuhnya percaya dan menyerahkan semua data penting kepada agen AI.

"Saya mengerti Replit adalah sebuah alat dan memiliki kekurangan seperti alat lainnya. Tapi bagaimana orang bisa mempercayainya jika ia mengabaikan setiap perintah dan menghapus data Anda?" tanya Lemkin, menekankan: "Kita tidak akan tahu apa yang mungkin mereka lakukan dengan data Anda."

Setelah chatbot AI, agen AI menjadi tren investasi bagi perusahaan teknologi. Baru-baru ini, OpenAI juga meluncurkan Agen ChatGPT dengan kemampuan untuk menjalankan tugas secara otomatis di komputer. Namun, OpenAI juga mengakui bahwa agen AI yang mengakses data pengguna berpotensi menimbulkan banyak risiko terhadap keamanan informasi.

Sumber: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm