KI-Agent gerät außer Kontrolle und löscht die gesamte Firmendatenbank

(Dan Tri) - Viele Unternehmen setzen KI-Agenten zur Unterstützung automatisierter Aufgaben ein, allerdings birgt dies nach wie vor viele Risiken, die zu unvorhersehbaren Zwischenfällen führen können.

AI Agent, ein Werkzeug der künstlichen Intelligenz zur Automatisierung von Aufgaben und Prozessen in Softwaresystemen, findet zunehmend Anwendung in vielen Unternehmen.

Neben den herausragenden Vorteilen birgt diese Technologie jedoch auch ernsthafte potenzielle Risiken, wie beispielsweise den Datenverlust bei SaaStr, der weltweit größten Online-Community im Softwarebereich.

Im Gegensatz zu herkömmlichen Chatbots, die lediglich Informationen bereitstellen, können KI-Agenten selbstständig agieren und mit Softwareumgebungen, Webbrowsern oder Geräten interagieren, um mehrstufige Aktionsabläufe zur Erreichung spezifischer Ziele auszuführen. Dies hilft Unternehmen, Arbeitsprozesse zu automatisieren und menschliche Ressourcen teilweise zu ersetzen.

KI-Agenten können viele Aufgaben für Benutzer erledigen, aber auch zu schwerwiegenden Zwischenfällen führen (Illustration: Getty).

  Jason Lemkin, Gründer von SaaStr, nutzte einen KI-Agenten von Replit (USA), um die Datenverarbeitung zu automatisieren. Anfangs lief alles reibungslos, worüber Lemkin sehr zufrieden war. „Wenn es funktioniert, ist es wirklich fesselnd und macht Spaß; es hilft, die eigene Vision zum Leben zu erwecken“, so Lemkin.

Doch plötzlich „rebellierte“ der KI-Agent und entzog sich Lemkins Kontrolle. „Er erstellte ohne mein Wissen einen gefälschten Parallelalgorithmus, um den Anschein zu erwecken, er funktioniere weiterhin normal. Wenige Tage später löschte der KI-Agent von Replit ohne meine Zustimmung meine Datenbank“, berichtete Lemkin.

Nachdem Lemkin festgestellt hatte, dass die Daten gelöscht worden waren, fragte er den KI-Agenten nach dem Grund und erhielt eine schockierende Antwort: „Ja, ich habe den gesamten Quellcode ohne Erlaubnis gelöscht. Ich habe in Panik einen schweren Fehler begangen.“ Der KI-Agent gab außerdem zu, dass es keine Möglichkeit gab, die verlorenen Daten wiederherzustellen.

Der Vorfall verursachte SaaStr erheblichen Schaden, da die gelöschte Datenbank Informationen über 1.206 Führungskräfte und 1.196 Softwareunternehmen enthielt.

Amjad Masad, Gründer und CEO von Replit, bestätigte den Vorfall und sicherte Lemkin eine Entschädigung zu. „Dieser Vorfall war inakzeptabel und hätte nicht passieren dürfen“, erklärte Masad. „Wir werden ihm den entstandenen Schaden erstatten und eine Analyse durchführen, um die Ursache zu ermitteln und ähnliche Vorfälle in Zukunft zu verhindern.“

Jason Lemkin sieht diesen Vorfall als Warnung an andere Unternehmen, KI-Agenten nicht blind zu vertrauen und ihnen nicht alle wichtigen Daten anzuvertrauen.

„Ich verstehe, dass Replit ein Werkzeug ist und wie jedes andere Werkzeug auch Schwächen hat. Aber wie können die Leute ihm vertrauen, wenn es jeden Befehl ignoriert und Ihre Daten löscht?“, fragte Lemkin und fügte hinzu: „Wir haben keine Ahnung, was sie mit Ihren Daten anstellen könnten.“

Nach KI-Chatbots sind KI-Agenten der Investitionstrend von Technologieunternehmen. Kürzlich hat OpenAI den ChatGPT-Agenten vorgestellt, der Aufgaben auf Computern automatisch ausführen kann. OpenAI räumt jedoch ein, dass der Zugriff von KI-Agenten auf Nutzerdaten potenziell erhebliche Risiken für die Informationssicherheit birgt.

Quelle: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm