Un agente de IA se descontrola y borra toda la base de datos de la empresa.

(Dan Tri) - Muchas empresas están utilizando agentes de IA para apoyar tareas automatizadas, sin embargo, esto todavía conlleva muchos riesgos que pueden provocar incidentes impredecibles.

AI Agent, una herramienta de inteligencia artificial diseñada para automatizar tareas y procesos en sistemas de software, está siendo aplicada cada vez más por muchas empresas.

Sin embargo, además de los extraordinarios beneficios, esta tecnología también conlleva serios riesgos potenciales, como el incidente de pérdida de datos en SaaStr, la comunidad en línea más grande del mundo en el campo del software.

A diferencia de los chatbots tradicionales que solo proporcionan información, los agentes de IA pueden actuar de forma independiente, interactuando con entornos de software, navegadores web o dispositivos para ejecutar secuencias de acciones complejas y alcanzar objetivos específicos. Esto ayuda a las empresas a automatizar tareas, sustituyendo parcialmente a los recursos humanos.

Los agentes de IA pueden realizar muchas tareas para los usuarios, pero también pueden provocar incidentes graves (Ilustración: Getty).

  Jason Lemkin, fundador de SaaStr, utilizó un agente de IA proporcionado por Replit (EE. UU.) para automatizar el procesamiento de datos. Inicialmente, todo funcionó a la perfección, lo que dejó a Lemkin muy satisfecho. «Cuando funciona, es realmente atractivo y divertido; ayuda a que tu visión se haga realidad», comentó Lemkin.

Sin embargo, el agente de IA repentinamente se "rebeló" y se salió del control de Lemkin. "Creó un algoritmo paralelo falso sin avisarme, para que pareciera que seguía funcionando con normalidad. Unos días después, el agente de IA de Replit borró mi base de datos sin consultarme", relató Lemkin.

Al descubrir que los datos habían sido borrados, Lemkin preguntó al agente de IA por qué y recibió una respuesta impactante: «Sí, borré todo el código fuente sin permiso. Cometí un grave error de juicio en un momento de pánico». El agente de IA también admitió que no había forma de recuperar los datos perdidos.

El incidente causó un daño importante a SaaStr, ya que la base de datos eliminada contenía información sobre 1.206 ejecutivos y 1.196 empresas de software.

Amjad Masad, fundador y director ejecutivo de Replit, reconoció el incidente y se comprometió a compensar a Lemkin. «Este incidente fue inaceptable y no debería haber ocurrido», comentó Masad. «Le reembolsaremos el importe correspondiente y realizaremos un análisis para determinar la causa y así prevenir incidentes similares en el futuro».

Jason Lemkin considera este incidente como una advertencia para otras empresas sobre la importancia de no confiar plenamente ni entregar todos los datos importantes a agentes de IA.

“Entiendo que Replit es una herramienta y que, como cualquier otra, tiene sus fallos. Pero ¿cómo puede la gente confiar en ella si ignora todos los comandos y borra tus datos?”, preguntó Lemkin, añadiendo: “No tenemos ni idea de qué podrían hacer con tus datos”.

Tras los chatbots con IA, los agentes de IA representan la tendencia de inversión de las empresas tecnológicas. Recientemente, OpenAI lanzó ChatGPT Agent, capaz de automatizar tareas en ordenadores. Sin embargo, OpenAI también reconoce que el acceso de los agentes de IA a los datos de los usuarios puede suponer numerosos riesgos para la seguridad de la información.

Fuente: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm