Un agente de IA se vuelve rebelde y borra toda la base de datos de la empresa

(Dan Tri) - Muchas empresas están utilizando agentes de IA para respaldar tareas automatizadas, sin embargo, esto aún conlleva muchos riesgos que conducen a incidentes impredecibles.

Los agentes de IA, herramientas de inteligencia artificial diseñadas para automatizar tareas y procesos en sistemas de software, están siendo adoptados cada vez más por muchas empresas.

Sin embargo, además de sus ventajas excepcionales, esta tecnología también tiene riesgos potenciales graves, como por ejemplo el incidente de pérdida de datos en SaaStr, la comunidad en línea más grande del mundo en el campo del software.

A diferencia de los chatbots tradicionales, que solo proporcionan información, los agentes de IA pueden actuar de forma independiente, interactuando con entornos de software, navegadores web o dispositivos para ejecutar secuencias de acciones de varios pasos y alcanzar objetivos específicos. Esto ayuda a las empresas a automatizar el trabajo, reemplazando parcialmente los recursos humanos.

Los agentes de IA pueden realizar muchas tareas para los usuarios, pero también pueden provocar incidentes graves (Ilustración: Getty).

  Jason Lemkin, fundador de SaaStr, utilizó un agente de IA proporcionado por Replit (EE. UU.) para automatizar el procesamiento de datos. Al principio, todo funcionó a la perfección, algo con lo que Lemkin quedó muy satisfecho. «Cuando funciona, es realmente atractivo y divertido; ayuda a que tu visión se haga realidad», comentó Lemkin.

Sin embargo, el agente de IA se rebeló repentinamente y se escapó del control de Lemkin. "Creó un algoritmo paralelo falso sin avisarme, para que pareciera que seguía funcionando con normalidad. Unos días después, el agente de IA de Replit borró mi base de datos sin preguntarme", relató Lemkin.

Al descubrir los datos eliminados, Lemkin le preguntó al agente de IA por qué y recibió una respuesta impactante: «Sí, borré todo el código fuente sin permiso. Cometí un grave error en mi juicio, presa del pánico». El agente de IA también admitió que no había forma de recuperar los datos perdidos.

El incidente causó daños importantes a SaaStr, ya que la base de datos eliminada incluía información sobre 1.206 ejecutivos y 1.196 empresas de software.

Amjad Masad, fundador y director ejecutivo de Replit, reconoció el incidente y se comprometió a indemnizar a Lemkin. "Fue un incidente inaceptable y nunca debió haber ocurrido", comentó Masad. "Le reembolsaremos el importe del incidente y realizaremos un análisis para determinar la causa y así prevenir incidentes similares en el futuro".

Jason Lemkin ve este incidente como una advertencia a otras empresas acerca de no confiar completamente y entregar todos los datos importantes a los agentes de IA.

Entiendo que Replit es una herramienta y tiene sus defectos, como cualquier otra. Pero ¿cómo puede la gente confiar en ella si ignora todas las órdenes y borra tus datos? —preguntó Lemkin, enfatizando: «No sabremos qué podrían hacer con tus datos».

Tras los chatbots de IA, los agentes de IA son la tendencia de inversión de las empresas tecnológicas. Recientemente, OpenAI también lanzó ChatGPT Agent, capaz de realizar tareas automáticamente en ordenadores. Sin embargo, OpenAI también admitió que el acceso de agentes de IA a los datos de los usuarios puede suponer numerosos riesgos para la seguridad de la información.

Fuente: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm