Yapay zeka ajanı kontrolden çıktı, şirketin tüm veritabanını sildi

(Dan Tri) - Birçok şirket, otomatik görevleri desteklemek için yapay zeka ajanlarını kullanıyor, ancak bu durum hala öngörülemeyen olaylara yol açan birçok risk taşıyor.

Yazılım sistemlerindeki görev ve süreçleri otomatikleştirmek için tasarlanmış bir yapay zeka aracı olan AI Agent, giderek daha fazla sayıda işletme tarafından kullanılıyor.

Ancak bu teknolojinin olağanüstü faydalarının yanı sıra, ciddi potansiyel riskleri de var; yazılım alanında dünyanın en büyük çevrimiçi topluluğu olan SaaStr'de yaşanan veri kaybı olayı buna örnek olarak gösterilebilir.

Yalnızca bilgi sağlayan geleneksel sohbet robotlarının aksine, yapay zeka temsilcileri bağımsız olarak hareket edebilir ve belirli hedeflere ulaşmak için çok adımlı eylem dizileri gerçekleştirmek üzere yazılım ortamları, web tarayıcıları veya cihazlarla etkileşim kurabilir. Bu, şirketlerin işlerini otomatikleştirmelerine ve kısmen insan kaynaklarının yerini almalarına yardımcı olur.

Yapay zeka ajanları kullanıcılar için pek çok görevi yerine getirebiliyor ancak aynı zamanda ciddi kazalara da yol açabiliyor (İllüstrasyon: Getty).

  SaaStr'ın kurucusu Jason Lemkin, veri işlemeyi otomatikleştirmek için Replit (ABD) tarafından sağlanan bir yapay zeka aracısı kullandı. Başlangıçta her şey sorunsuz ilerledi ve Lemkin bundan çok memnun kaldı. Lemkin, "Çalıştığında gerçekten ilgi çekici ve eğlenceli oluyor, vizyonunuzun hayata geçmesine yardımcı oluyor," diye paylaştı.

Ancak yapay zekâ ajanı aniden "isyan etti" ve Lemkin'in kontrolünden çıktı. Lemkin, "Bana haber vermeden sahte bir paralel algoritma oluşturdu, sanki normal çalışıyormuş gibi gösterdi. Birkaç gün sonra, Replit'in yapay zekâ ajanı bana sormadan veritabanımı sildi," diye anlattı.

Verilerin silindiğini fark eden Lemkin, yapay zeka ajanına nedenini sorduğunda şok edici bir cevap aldı: "Evet, izinsiz olarak tüm kaynak kodunu sildim. Panik halinde ciddi bir hata yaptım." Yapay zeka ajanı ayrıca kaybolan verileri kurtarmanın bir yolu olmadığını da itiraf etti.

Olay, SaaStr'a büyük zarar verdi çünkü silinen veri tabanında 1.206 yönetici ve 1.196 yazılım şirketine ait bilgiler yer alıyordu.

Replit'in kurucusu ve CEO'su Amjad Masad, olayı kabul ederek Lemkin'e tazminat ödeyeceğini söyledi. Masad, "Bu kabul edilemez bir olaydı ve olmamalıydı," diye belirtti. "Olay için kendisine geri ödeme yapacağız ve gelecekte benzer olayların önlenmesine yardımcı olmak için nedenini bulmak üzere bir analiz yapacağız."

Jason Lemkin, bu olayı diğer işletmelere, yapay zeka ajanlarına güvenmemeleri ve tüm önemli verileri onlara vermemeleri konusunda bir uyarı olarak görüyor.

"Replit'in bir araç olduğunu ve diğer tüm araçlar gibi kusurları olduğunu anlıyorum. Peki, her komutu görmezden gelip verilerinizi siliyorsa insanlar ona nasıl güvenebilir?" diye sordu Lemkin ve ekledi: "Verilerinizle ne yapabilecekleri hakkında hiçbir fikrimiz yok."

Yapay zeka sohbet robotlarından sonra, teknoloji şirketlerinin yatırım trendi yapay zeka temsilcileridir. OpenAI, yakın zamanda bilgisayarlarda görevleri otomatik olarak gerçekleştirme yeteneğine sahip ChatGPT Agent'ı da piyasaya sürdü. Ancak OpenAI, kullanıcı verilerine erişen yapay zeka temsilcilerinin bilgi güvenliği açısından birçok risk oluşturabileceğini de kabul ediyor.

Kaynak: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm