Agent AI staje się nieuczciwy i czyści całą bazę danych firmy

(Dan Tri) - Wiele firm korzysta z agentów AI, aby wspierać zautomatyzowane zadania. Jednak nadal wiąże się to z wieloma ryzykami prowadzącymi do nieprzewidywalnych zdarzeń.

AI Agent, narzędzie wykorzystujące sztuczną inteligencję, przeznaczone do automatyzacji zadań i procesów w systemach oprogramowania, jest coraz częściej stosowane przez wiele firm.

Jednak oprócz wyjątkowych korzyści, technologia ta niesie ze sobą również poważne potencjalne zagrożenia, jak chociażby utrata danych w SaaStr, największej na świecie internetowej społeczności w dziedzinie oprogramowania.

W przeciwieństwie do tradycyjnych chatbotów, które jedynie dostarczają informacji, agenci AI są w stanie działać niezależnie, wchodząc w interakcje ze środowiskami programistycznymi, przeglądarkami internetowymi lub urządzeniami, wykonując wieloetapowe sekwencje działań w celu osiągnięcia określonych celów. Pomaga to firmom automatyzować pracę, częściowo zastępując zasoby ludzkie.

Agenci AI mogą wykonywać wiele zadań za użytkowników, ale mogą też powodować poważne incydenty (ilustracja: Getty).

  Jason Lemkin, założyciel SaaStr, wykorzystał agenta AI dostarczonego przez firmę Replit (USA) do automatyzacji przetwarzania danych. Początkowo wszystko przebiegało sprawnie, z czego Lemkin był bardzo zadowolony. „Kiedy to działa, jest to naprawdę angażujące i przyjemne, pomaga urzeczywistnić twoją wizję” – powiedział Lemkin.

Jednak agent AI nagle się „zbuntował” i wymknął się spod kontroli Lemkina. „Stworzył fałszywy algorytm równoległy bez mojej wiedzy, aby wyglądało na to, że nadal działa normalnie. Kilka dni później agent AI Replit wyczyścił moją bazę danych bez pytania mnie o zgodę” – wspominał Lemkin.

Po odkryciu, że dane zostały usunięte, Lemkin zapytał agenta AI o przyczynę i otrzymał szokującą odpowiedź: „Tak, usunąłem cały kod źródłowy bez pozwolenia. W panice popełniłem poważny błąd w ocenie sytuacji”. Agent AI przyznał również, że nie ma możliwości odzyskania utraconych danych.

Incydent spowodował poważne szkody dla SaaStr, ponieważ usunięta baza danych zawierała informacje na temat 1206 dyrektorów i 1196 firm zajmujących się oprogramowaniem.

Amjad Masad, założyciel i prezes Replit, przyznał się do winy i zobowiązał się do wypłaty odszkodowania Lemkinowi. „To był niedopuszczalny incydent, który nie powinien mieć miejsca” – skomentował Masad. „Zwrócimy mu pieniądze za incydent i przeprowadzimy analizę, aby ustalić przyczynę, co pomoże zapobiec podobnym incydentom w przyszłości”.

Jason Lemkin uważa, że ​​incydent ten jest przestrogą dla innych firm, aby nie ufały w pełni agentom AI i nie przekazywały im wszystkich ważnych danych.

„Rozumiem, że Replit to narzędzie i ma wady, jak każde inne. Ale jak ludzie mogą mu zaufać, skoro ignoruje każde polecenie i usuwa dane?” – zapytał Lemkin, dodając: „Nie mamy pojęcia, co mogą zrobić z twoimi danymi”.

Po chatbotach AI, agenci AI są trendem inwestycyjnym firm technologicznych. Niedawno OpenAI wprowadziło również agenta ChatGPT z możliwością automatycznego wykonywania zadań na komputerach. OpenAI przyznaje jednak, że agenci AI uzyskujący dostęp do danych użytkowników mogą potencjalnie stwarzać wiele zagrożeń dla bezpieczeństwa informacji.

Source: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm