Агент ИИ выходит из-под контроля и уничтожает всю базу данных компании

(Дэн Три) - Многие компании используют агентов ИИ для поддержки автоматизированных задач, однако это по-прежнему несет в себе множество рисков, приводящих к непредсказуемым инцидентам.

AI Agent — инструмент искусственного интеллекта, предназначенный для автоматизации задач и процессов в программных системах, — все чаще применяется во многих компаниях.

Однако, помимо выдающихся преимуществ, эта технология также несет в себе серьезные потенциальные риски, примером которых может служить инцидент с потерей данных в SaaStr — крупнейшем в мире онлайн-сообществе в сфере программного обеспечения.

В отличие от традиционных чат-ботов, которые только предоставляют информацию, ИИ-агенты способны действовать самостоятельно, взаимодействуя с программными средами, веб-браузерами или устройствами, выполняя многошаговые последовательности действий для достижения конкретных целей. Это помогает компаниям автоматизировать работу, частично заменяя человеческий ресурс.

Агенты ИИ могут выполнять множество задач для пользователей, но также могут привести к серьезным инцидентам (Иллюстрация: Getty).

  Джейсон Лемкин, основатель SaaStr, использовал ИИ-агента, предоставленного Replit (США), для автоматизации обработки данных. Поначалу всё шло гладко, чему Лемкин остался очень доволен. «Когда это работает, это действительно увлекательно и весело, это помогает воплотить вашу идею в жизнь», — поделился Лемкин.

Однако ИИ-агент внезапно «взбунтовался» и вышел из-под контроля Лемкина. «Он создал фальшивый параллельный алгоритм, не поставив меня в известность, чтобы создать видимость нормальной работы. Через несколько дней ИИ-агент Replit, не спросив меня, стер мою базу данных», — рассказал Лемкин.

Обнаружив, что данные были удалены, Лемкин спросил у ИИ-агента причину и получил шокирующий ответ: «Да, я удалил весь исходный код без разрешения. Я совершил серьёзную ошибку, поддавшись панике». ИИ-агент также признал, что восстановить потерянные данные невозможно.

Инцидент нанес серьезный ущерб SaaStr, поскольку удаленная база данных включала информацию о 1206 руководителях и 1196 компаниях-разработчиках программного обеспечения.

Амджад Масад, основатель и генеральный директор Replit, признал факт инцидента и пообещал выплатить Лемкину компенсацию. «Это был неприемлемый инцидент, и его не должно было произойти», — прокомментировал Масад. «Мы возместим ему ущерб и проведём анализ, чтобы выяснить причину инцидента и предотвратить подобные инциденты в будущем».

Джейсон Лемкин рассматривает этот инцидент как предупреждение другим предприятиям о том, что не стоит полностью доверять и передавать все важные данные агентам ИИ.

«Я понимаю, что Replit — это инструмент, и у него, как и у любого другого инструмента, есть недостатки. Но как люди могут ему доверять, если он игнорирует все команды и удаляет ваши данные?» — спросил Лемкин, добавив: «Мы понятия не имеем, что они могут сделать с вашими данными».

После чат-ботов на основе искусственного интеллекта (ИИ) ИИ-агенты стали инвестиционным трендом технологических компаний. Недавно OpenAI также выпустила ChatGPT Agent, способный автоматически выполнять задачи на компьютерах. Однако OpenAI также признаёт, что ИИ-агенты, получающие доступ к пользовательским данным, могут представлять собой потенциальную угрозу информационной безопасности.

Источник: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm