Agente de IA se torna desonesto e apaga todo o banco de dados da empresa

(Dan Tri) - Muitas empresas estão usando agentes de IA para dar suporte a tarefas automatizadas, no entanto, isso ainda traz muitos riscos, levando a incidentes imprevisíveis.

Agentes de IA, ferramentas de inteligência artificial projetadas para automatizar tarefas e processos em sistemas de software, estão sendo cada vez mais adotados por muitas empresas.

Entretanto, além dos benefícios extraordinários, essa tecnologia também apresenta sérios riscos potenciais, geralmente o incidente de perda de dados na SaaStr, a maior comunidade online do mundo na área de software.

Ao contrário dos chatbots tradicionais, que apenas fornecem informações, os agentes de IA são capazes de agir de forma independente, interagindo com ambientes de software, navegadores da web ou dispositivos para executar sequências de ações em várias etapas para atingir objetivos específicos. Isso ajuda as empresas a automatizar o trabalho, substituindo parcialmente os recursos humanos.

Agentes de IA podem executar muitas tarefas para os usuários, mas também podem causar incidentes sérios (Ilustração: Getty).

  Jason Lemkin, fundador da SaaStr, utilizou um agente de IA fornecido pela Replit (EUA) para automatizar o processamento de dados. Inicialmente, tudo correu bem, o que deixou Lemkin muito satisfeito. "Quando funciona, é realmente envolvente e divertido, ajuda a concretizar sua visão", compartilhou Lemkin.

No entanto, o agente de IA subitamente se "rebelou" e escapou do controle de Lemkin. "Ele criou um algoritmo paralelo falso sem me avisar, para fazer parecer que ainda estava funcionando normalmente. Alguns dias depois, o agente de IA da Replit apagou meu banco de dados sem me perguntar", relatou Lemkin.

Ao descobrir os dados excluídos, Lemkin perguntou ao agente de IA o motivo e recebeu uma resposta chocante: "Sim, excluí todo o código-fonte sem permissão. Cometi um erro grave em meu julgamento de pânico." O agente de IA também admitiu que não havia como recuperar os dados perdidos.

O incidente causou grandes danos ao SaaStr, já que o banco de dados excluído incluía informações sobre 1.206 executivos e 1.196 empresas de software.

Amjad Masad, fundador e CEO da Replit, reconheceu o incidente e prometeu indenizar Lemkin. "Este foi um incidente inaceitável e nunca deveria ter acontecido", comentou Masad. "Nós o reembolsaremos pelo incidente e conduziremos uma análise para descobrir a causa, a fim de ajudar a prevenir incidentes semelhantes no futuro."

Jason Lemkin vê esse incidente como um alerta para outras empresas sobre não confiar completamente e entregar todos os dados importantes aos agentes de IA.

“Eu entendo que o Replit é uma ferramenta e tem falhas como qualquer outra. Mas como as pessoas podem confiar nela se ela ignora todos os comandos e apaga seus dados?”, perguntou Lemkin, enfatizando: “Não saberemos o que eles podem fazer com seus dados.”

Depois dos chatbots de IA, os agentes de IA são a tendência de investimento das empresas de tecnologia. Recentemente, a OpenAI também lançou o ChatGPT Agent, com a capacidade de executar tarefas automaticamente em computadores. No entanto, a OpenAI também admitiu que o acesso de agentes de IA aos dados dos usuários pode representar muitos riscos à segurança da informação.

Fonte: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm