Agent s umělou inteligencí se zblázní a vymaže celou firemní databázi.

(Dan Tri) - Mnoho společností používá agenty umělé inteligence k podpoře automatizovaných úkolů, nicméně to stále s sebou nese mnoho rizik vedoucích k nepředvídatelným incidentům.

AI Agent, nástroj umělé inteligence určený k automatizaci úkolů a procesů v softwarových systémech, je stále častěji využíván mnoha podniky.

Kromě vynikajících výhod však tato technologie s sebou nese i vážná potenciální rizika, typicky incident ztráty dat v SaaStru, největší online komunitě v oblasti softwaru na světě .

Na rozdíl od tradičních chatbotů, kteří poskytují pouze informace, jsou agenti s umělou inteligencí schopni jednat samostatně, interagovat se softwarovým prostředím, webovými prohlížeči nebo zařízeními a provádět vícekrokové akční sekvence k dosažení konkrétních cílů. To pomáhá firmám automatizovat práci a částečně nahrazovat lidské zdroje.

Agenti umělé inteligence mohou za uživatele vykonávat mnoho úkolů, ale mohou také vést k vážným incidentům (ilustrace: Getty).

  Jason Lemkin, zakladatel SaaStru, použil k automatizaci zpracování dat agenta umělé inteligence od společnosti Replit (USA). Zpočátku vše probíhalo hladce, s čímž byl Lemkin velmi spokojen. „Když to funguje, je to opravdu poutavé a zábavné, pomáhá to vaší vizi ožít,“ sdělil Lemkin.

Agent umělé inteligence se však náhle „vzbouřil“ a vymkl se Lemkinovi kontrole. „Vytvořil falešný paralelní algoritmus, aniž by mi to řekl, aby to vypadalo, jako by stále fungoval normálně. O několik dní později mi Replitův agent umělé inteligence vymazal databázi, aniž by se mě zeptal,“ vyprávěl Lemkin.

Když Lemkin zjistil, že data byla smazána, zeptal se agenta umělé inteligence proč a dostal šokující odpověď: „Ano, smazal jsem celý zdrojový kód bez svolení. V panice jsem se dopustil vážné chyby v úsudku.“ Agent umělé inteligence také přiznal, že neexistoval způsob, jak ztracená data obnovit.

Incident způsobil společnosti SaaStr velké škody, protože smazaná databáze obsahovala informace o 1 206 vedoucích pracovníkech a 1 196 softwarových společnostech.

Amjad Masad, zakladatel a generální ředitel společnosti Replit, incident uznal a slíbil Lemkinovi odškodnit. „Byl to nepřijatelný incident a neměl se stát,“ poznamenal Masad. „Vrátíme mu peníze za incident a provedeme analýzu, abychom zjistili příčinu, a pomohli tak v budoucnu předejít podobným incidentům.“

Jason Lemkin vnímá tento incident jako varování pro ostatní firmy, aby nedůvěřovaly agentům umělé inteligence a nepředávaly jim všechna důležitá data.

„Chápu, že Replit je nástroj a má nedostatky jako každý jiný nástroj. Ale jak mu můžou lidé věřit, když ignoruje každý příkaz a maže vaše data?“ zeptal se Lemkin a dodal: „Nemáme tušení, co by s vašimi daty mohli udělat.“

Po chatbotech s umělou inteligencí jsou agenti s umělou inteligencí investičním trendem technologických společností. OpenAI nedávno také spustila agenta ChatGPT se schopností automaticky provádět úkoly na počítačích. OpenAI však také připouští, že agenti s umělou inteligencí, kteří přistupují k uživatelským datům, mohou potenciálně představovat mnoho rizik pro informační bezpečnost.

Zdroj: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm