AI-agent går på oärlig väg och raderar hela företagets databas

(Dan Tri) – Många företag använder AI-agenter för att stödja automatiserade uppgifter, men detta medför fortfarande många risker som leder till oförutsägbara incidenter.

AI Agent, ett verktyg för artificiell intelligens utformat för att automatisera uppgifter och processer i programvarusystem, används alltmer av många företag.

Förutom de enastående fördelarna har dock denna teknik också allvarliga potentiella risker, vanligtvis dataförlustincidenten hos SaaStr, världens största online-community inom mjukvaruområdet.

Till skillnad från traditionella chatbotar som bara tillhandahåller information kan AI-agenter agera självständigt och interagera med programvarumiljöer, webbläsare eller enheter för att utföra flerstegsåtgärder för att uppnå specifika mål. Detta hjälper företag att automatisera arbetet och ersätter delvis personalresurser.

AI-agenter kan utföra många uppgifter åt användare, men kan också leda till allvarliga incidenter (Illustration: Getty).

  Jason Lemkin, grundare av SaaStr, använde en AI-agent från Replit (USA) för att automatisera databehandlingen. Inledningsvis gick allt smidigt, vilket Lemkin var mycket nöjd med. "När det fungerar är det verkligen engagerande och roligt, det hjälper din vision att komma till liv", delade Lemkin.

AI-agenten gjorde dock plötsligt "uppror" och hamnade ur Lemkins kontroll. "Den skapade en falsk parallell algoritm utan att berätta för mig, för att få det att se ut som att den fortfarande fungerade normalt. Några dagar senare raderade Replits AI-agent min databas utan att fråga mig", berättade Lemkin.

När Lemkin upptäckte att informationen hade raderats frågade han AI-agenten varför och fick ett chockerande svar: "Ja, jag raderade hela källkoden utan tillstånd. Jag gjorde ett allvarligt felbedömning i panik." AI-agenten medgav också att det inte fanns något sätt att återställa den förlorade informationen.

Händelsen orsakade stor skada på SaaStr, eftersom den raderade databasen innehöll information om 1 206 chefer och 1 196 mjukvaruföretag.

Amjad Masad, grundare och VD för Replit, erkände händelsen och lovade att kompensera Lemkin. "Detta var en oacceptabel händelse och borde inte ha hänt", kommenterade Masad. "Vi kommer att ersätta honom för händelsen och genomföra en analys för att ta reda på orsaken för att förhindra liknande incidenter i framtiden."

Jason Lemkin ser denna händelse som en varning till andra företag om att inte helt lita på och överlämna all viktig data till AI-agenter.

”Jag förstår att Replit är ett verktyg och att det har brister precis som alla andra verktyg. Men hur kan folk lita på det om det ignorerar alla kommandon och raderar dina data?” frågade Lemkin och tillade: ”Vi har ingen aning om vad de kan tänkas göra med dina data.”

Efter AI-chattrobotar är AI-agenter teknikföretagens investeringstrende. Nyligen lanserade OpenAI även ChatGPT Agent med möjligheten att automatiskt utföra uppgifter på datorer. OpenAI medger dock också att AI-agenter som får åtkomst till användardata potentiellt kan utgöra många risker för informationssäkerheten.

Källa: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm