AI-agent wordt ondeugend en wist de volledige bedrijfsdatabase

(Dan Tri) - Veel bedrijven maken gebruik van AI-agents ter ondersteuning van geautomatiseerde taken. Dit brengt echter nog steeds veel risico's met zich mee, die kunnen leiden tot onvoorspelbare incidenten.

AI-agenten, hulpmiddelen voor kunstmatige intelligentie die zijn ontworpen om taken en processen in softwaresystemen te automatiseren, worden steeds vaker door veel bedrijven ingezet.

Naast de uitstekende voordelen brengt deze technologie echter ook serieuze potentiële risico's met zich mee, zoals bijvoorbeeld het geval is bij dataverlies bij SaaStr, de grootste online community ter wereld op het gebied van software.

In tegenstelling tot traditionele chatbots die alleen informatie verstrekken, kunnen AI-agenten zelfstandig handelen en interacteren met softwareomgevingen, webbrowsers of apparaten om meerstapsacties uit te voeren om specifieke doelen te bereiken. Dit helpt bedrijven werk te automatiseren en zo de inzet van personeel gedeeltelijk te vervangen.

AI-agenten kunnen veel taken voor gebruikers uitvoeren, maar kunnen ook tot ernstige incidenten leiden (Illustratie: Getty).

  Jason Lemkin, oprichter van SaaStr, gebruikte een AI-agent van Replit (VS) om de gegevensverwerking te automatiseren. Aanvankelijk verliep alles soepel, waar Lemkin zeer tevreden over was. "Als het werkt, is het echt boeiend en leuk, het helpt je visie tot leven te brengen", aldus Lemkin.

De AI-agent kwam echter plotseling in opstand en ontsnapte aan Lemkins controle. "Hij creëerde een vals parallel algoritme zonder het mij te vertellen, om het te laten lijken alsof het nog steeds normaal werkte. Een paar dagen later wiste de Replit AI-agent mijn database zonder het mij te vragen," vertelde Lemkin.

Toen Lemkin de verwijderde gegevens ontdekte, vroeg hij de AI-agent waarom en kreeg een schokkend antwoord: "Ja, ik heb de volledige broncode zonder toestemming verwijderd. Ik heb een ernstige fout gemaakt met mijn paniekerige oordeel." De AI-agent gaf ook toe dat er geen manier was om de verloren gegevens te herstellen.

Het incident veroorzaakte grote schade voor SaaStr, omdat de verwijderde database informatie bevatte over 1.206 leidinggevenden en 1.196 softwarebedrijven.

Amjad Masad, oprichter en CEO van Replit, erkende het incident en beloofde Lemkin te compenseren. "Dit was een onacceptabel incident en had nooit mogen gebeuren", aldus Masad. "We zullen hem de kosten van het incident vergoeden en een analyse uitvoeren om de oorzaak te achterhalen, zodat soortgelijke incidenten in de toekomst kunnen worden voorkomen."

Jason Lemkin ziet dit incident als een waarschuwing aan andere bedrijven om AI-agents niet volledig te vertrouwen en niet al hun belangrijke gegevens aan hen over te dragen.

"Ik begrijp dat Replit een tool is en dat het net als elke andere tool gebreken heeft. Maar hoe kunnen mensen erop vertrouwen als het elk commando negeert en je gegevens verwijdert?" vroeg Lemkin, met de nadruk op: "We weten niet wat ze met je gegevens gaan doen."

Na AI-chatbots zijn AI-agenten de investeringstrend van technologiebedrijven. Onlangs lanceerde OpenAI ook ChatGPT Agent, waarmee taken automatisch op computers kunnen worden uitgevoerd. OpenAI gaf echter ook toe dat AI-agenten die toegang hebben tot gebruikersgegevens mogelijk veel risico's voor de informatiebeveiliging vormen.

Bron: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm