Na fóru Security Summit 2026, které se konalo 22. května, pan Mai Xuan Cuong - ředitel Centra informačních bezpečnostních služeb společnosti Viettel Cyber Security, uvedl, že nejnebezpečnější rozdíl mezi agenty s umělou inteligencí a tradičními LLM spočívá v jejich schopnosti přímo interagovat se systémem.
Zatímco konvenční LLM pouze přijímají příkazy a vracejí text, agenti AI mají schopnost spouštět příkazy shellu (interakce s operačním systémem prostřednictvím příkazového řádku), manipulovat se souborovými systémy pro čtení a zápis, automaticky odesílat e-maily, volat API a ovládat prohlížeče. Tato aktualizace neúmyslně otevírá širší škálu možností útoku, které daleko přesahují rámec typických dezinformačních kampaní.
Agenti s umělou inteligencí se stávají novým cílem kyberzločinců.
Podle expertů na kybernetickou bezpečnost je to právě tato schopnost „jednat“, co dělá z agentů s umělou inteligencí nový cíl kyberzločinců.
Jedním z největších rizik je únik podnikových dat. Aby agenti umělé inteligence mohli efektivně fungovat, musí často zpracovávat velké množství interních informací, jako je zdrojový kód, dokumenty a e-maily. Pokud jsou tato data odesílána na cloudové platformy umělé inteligence třetích stran, zvyšuje se riziko úniku důvěrných informací.
Byly zaznamenány případy, kdy zaměstnanci společnosti Samsung unikli nový zdrojový kód prostřednictvím ChatGPT nebo kdy zaměstnanci společnosti Meta neúmyslně unikli data na základě pokynů interní umělé inteligence.
Kromě rizika úniku dat odborníci varují také před „nepřímým prompt injection“. Hackeři mohou vkládat škodlivé instrukce do e-mailů, webových stránek nebo dokumentů, aby oklamali agenty umělé inteligence a přiměli je k provedení nezamýšlených akcí, jako je přístup k interním datům nebo odeslání informací hackerovi.
Došlo k případu, kdy útočník skryl Morseovu abecedu ve zprávě, aby obešel systém, což umožnilo agentovi kryptoměn Grok-Bankrbot provést neoprávněný převod peněz, což vedlo ke ztrátě 150 000 dolarů.
Další riziko pramení z ekosystému rozšíření pro agenty umělé inteligence. Mnoho zaměstnanců v podnicích instaluje rozšíření z komunity, aby rozšířili funkčnost umělé inteligence, ale hackeři mohou tento kanál zneužít k šíření malwaru. Jakmile jim bude udělen přístup k systému, mohou tyto falešné pluginy krást data, tokeny nebo vytvářet zadní vrátka v zařízení.
Podle pana Cuonga se také objevuje trend „stínové umělé inteligence“, kdy si zaměstnanci samostatně instalují agenty umělé inteligence na své pracovní počítače, aniž by museli procházet IT oddělením. To firmám ztěžuje kontrolu přístupu a zvyšuje riziko narušení bezpečnosti systému.
Umělá inteligence může navíc špatně interpretovat záměry uživatelů, což vede k provádění příkazů, které by mohly firmám způsobit značné škody. Například agent umělé inteligence může provést nesprávnou operaci nebo omylem smazat důležitá data, pokud mu jsou udělena nadměrná oprávnění.
Pro zmírnění rizik se organizacím doporučuje vybudovat vícevrstvý bezpečnostní model namísto spoléhání se pouze na tradiční antivirový software a vypracovat vhodný implementační plán.
Firmy potřebují vybudovat vícevrstvý bezpečnostní model.
Prvním krokem, který musí firma podniknout, je detekce hrozeb. Firmy mohou k agregaci a identifikaci hrozeb využít koncové body a provoz webových proxy (zprostředkující servery připojující zařízení k internetu).
Dále musíme nastavit bránu umělé inteligence (AI Gateway), která se stane jediným kontrolním bodem pro veškerý přístup umělé inteligence. Tato brána bude řídit přenos dat do veřejného cloudu.
Následně musí firmy implementovat další vrstvu specializované kontroly (Guardrail) na své bráně umělé inteligence a dalších aplikacích umělé inteligence, aby identifikovaly škodlivé příkazy, zabránily únikům dat a odhalily neoprávněný přístup nebo zneužití systému.
Dalším krokem je zajištění posil pro agenta s umělou inteligencí. Monitorovací systém v koncovém bodě musí být nakonfigurován tak, aby sledoval neobvyklé „autonomní chování“. Agent s umělou inteligencí by měl být provozován v izolovaném prostředí s minimálním přístupem, aby se omezilo riziko šíření v případě incidentu. A konečně, pravidelné monitorování systému je nezbytné.
„Řízení bezpečnosti umělé inteligence není jednorázové nasazení, ale proces nepřetržitého monitorování,“ uvedl pan Cuong.
Správa bezpečnosti umělé inteligence se stane povinným požadavkem v období rychlého vývoje agentů umělé inteligence. Pokud firmy nebudou připraveny zavést bezpečnostní modely Zero Trust a důsledné monitorování, je zmocnění agentů umělé inteligence k akci jako předání systémových klíčů zaměstnanci, který je sice vysoce kvalifikovaný, ale velmi náchylný k manipulaci.
Zdroj: https://doanhnghiepvn.vn/cong-nghe/doanh-nghiep-can-lam-gi-de-tranh-bi-ai-agent-phan-chu/20260523080712445
Komentář (0)