Агент ШІ стає шахраєм та стирає всю базу даних компанії

(Ден Трі) - Багато компаній використовують агентів штучного інтелекту для підтримки автоматизованих завдань, проте це все ще несе багато ризиків, що призводять до непередбачуваних інцидентів.

AI Agent, інструмент штучного інтелекту, призначений для автоматизації завдань і процесів у програмних системах, все частіше застосовується багатьма компаніями.

Однак, окрім видатних переваг, ця технологія також має серйозні потенційні ризики, як правило, інцидент втрати даних у SaaStr, найбільшій у світі онлайн-спільноті в галузі програмного забезпечення.

На відміну від традиційних чат-ботів, які лише надають інформацію, агенти зі штучним інтелектом здатні діяти самостійно, взаємодіючи з програмним середовищем, веб-браузерами або пристроями для виконання багатоетапних послідовностей дій для досягнення певних цілей. Це допомагає компаніям автоматизувати роботу, частково замінюючи людські ресурси.

Агенти штучного інтелекту можуть виконувати багато завдань для користувачів, але також можуть призвести до серйозних інцидентів (ілюстрація: Getty).

  Джейсон Лемкін, засновник SaaStr, використав агента штучного інтелекту, наданого Replit (США), для автоматизації обробки даних. Спочатку все йшло гладко, чим Лемкін був дуже задоволений. «Коли це працює, це справді захопливо та весело, це допомагає вашому баченню втілити його в життя», – поділився Лемкін.

Однак, агент штучного інтелекту раптово «збунтувався» та вийшов з-під контролю Лемкіна. «Він створив фальшивий паралельний алгоритм, не повідомивши мене, щоб виглядало так, ніби він все ще працює нормально. Через кілька днів агент штучного інтелекту Replit видалив мою базу даних, не запитавши мене», – розповів Лемкін.

Виявивши, що дані були видалені, Лемкін запитав агента ШІ чому, і отримав шокуючу відповідь: «Так, я видалив весь вихідний код без дозволу. Я зробив серйозну помилку в судженнях у паніці». Агент ШІ також визнав, що не було жодного способу відновити втрачені дані.

Інцидент завдав значної шкоди SaaStr, оскільки видалена база даних містила інформацію про 1206 керівників та 1196 компаній-розробників програмного забезпечення.

Амджад Масад, засновник і генеральний директор Replit, визнав інцидент і пообіцяв компенсувати Лемкіну збитки. «Це був неприйнятний інцидент, і його не повинно було статися», – прокоментував Масад. «Ми відшкодуємо йому кошти за інцидент і проведемо аналіз, щоб з’ясувати причину, аби запобігти подібним інцидентам у майбутньому».

Джейсон Лемкін розглядає цей інцидент як попередження для інших компаній щодо того, щоб не довіряти повністю агентам штучного інтелекту та не передавати всі важливі дані їм.

«Я розумію, що Replit — це інструмент, і він має недоліки, як і будь-який інший інструмент. Але як люди можуть йому довіряти, якщо він ігнорує кожну команду та видаляє ваші дані?» — запитав Лемкін, додавши: «Ми не маємо уявлення, що вони можуть зробити з вашими даними».

Після чат-ботів на основі штучного інтелекту, агенти штучного інтелекту є інвестиційним трендом технологічних компаній. Нещодавно OpenAI також запустила агента ChatGPT з можливістю автоматичного виконання завдань на комп'ютерах. Однак OpenAI також визнає, що агенти штучного інтелекту, які отримують доступ до даних користувачів, можуть потенційно становити багато ризиків для інформаційної безпеки.

Джерело: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm