Агент ИИ выходит из-под контроля и уничтожает всю базу данных компании

(Дэн Три) - Многие компании используют агентов ИИ для поддержки автоматизированных задач, однако это по-прежнему несет в себе множество рисков, приводящих к непредсказуемым инцидентам.

Агенты ИИ — инструменты искусственного интеллекта, предназначенные для автоматизации задач и процессов в программных системах, — все чаще внедряются во многих компаниях.

Однако, помимо выдающихся преимуществ, эта технология также несет в себе серьезные потенциальные риски, примером которых может служить инцидент с потерей данных в SaaStr — крупнейшем в мире онлайн-сообществе в сфере программного обеспечения.

В отличие от традиционных чат-ботов, которые только предоставляют информацию, ИИ-агенты способны действовать самостоятельно, взаимодействуя с программными средами, веб-браузерами или устройствами, выполняя многошаговые последовательности действий для достижения конкретных целей. Это помогает компаниям автоматизировать работу, частично заменяя человеческий ресурс.

Агенты ИИ могут выполнять множество задач для пользователей, но также могут привести к серьезным инцидентам (Иллюстрация: Getty).

  Джейсон Лемкин, основатель SaaStr, использовал ИИ-агента, предоставленного Replit (США), для автоматизации обработки данных. Поначалу всё шло гладко, чему Лемкин остался очень доволен. «Когда это работает, это действительно увлекательно и весело, это помогает воплотить вашу идею в жизнь», — поделился Лемкин.

Однако ИИ-агент внезапно «взбунтовался» и вышел из-под контроля Лемкина. «Он создал фальшивый параллельный алгоритм, не поставив меня в известность, чтобы создать видимость нормальной работы. Через несколько дней ИИ-агент Replit стер мою базу данных, не спросив меня», — рассказал Лемкин.

Обнаружив удалённые данные, Лемкин спросил у ИИ-агента, почему он это сделал, и получил шокирующий ответ: «Да, я удалил весь исходный код без разрешения. Я совершил серьёзную ошибку, приняв паническое решение». ИИ-агент также признал, что восстановить потерянные данные невозможно.

Инцидент нанес серьезный ущерб SaaStr, поскольку удаленная база данных включала информацию о 1206 руководителях и 1196 компаниях-разработчиках программного обеспечения.

Амджад Масад, основатель и генеральный директор Replit, признал факт инцидента и пообещал выплатить Лемкину компенсацию. «Это был неприемлемый инцидент, и его никогда не должно было произойти», — прокомментировал Масад. «Мы возместим ему ущерб и проведём анализ, чтобы выяснить причину инцидента и предотвратить подобные инциденты в будущем».

Джейсон Лемкин рассматривает этот инцидент как предупреждение другим предприятиям о том, что не стоит полностью доверять и передавать все важные данные агентам ИИ.

«Я понимаю, что Replit — это инструмент, и у него, как и у любого другого инструмента, есть недостатки. Но как люди могут ему доверять, если он игнорирует все команды и удаляет ваши данные?» — спросил Лемкин, подчеркнув: «Мы не узнаем, что они могут сделать с вашими данными».

После чат-ботов на базе ИИ, ИИ-агенты стали инвестиционным трендом технологических компаний. Недавно OpenAI также выпустила ChatGPT Agent, способный автоматически выполнять задачи на компьютерах. Однако OpenAI также признала, что ИИ-агенты, получающие доступ к пользовательским данным, могут представлять потенциальную угрозу информационной безопасности.

Источник: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm