Israel: Warnung, dass KI-Assistenten zu bösartigen Agenten werden und Nutzer angreifen können

Das israelische Cybersicherheitsunternehmen Zenity hat die erste jemals entdeckte „Zero-Click“-Schwachstelle im ChatGPT-Dienst von OpenAI aufgedeckt. Diese Art von Angriff erfordert keine Benutzeraktion wie das Klicken auf einen Link, das Öffnen einer Datei oder eine bewusste Interaktion, kann aber dennoch Kontozugriff erlangen und sensible Daten auslesen.

Laut dem VNA-Korrespondenten in Tel Aviv erklärte Mikhail Bergori, Mitbegründer und CTO von Zenity, direkt, wie ein Hacker allein durch den Besitz der E-Mail-Adresse eines Benutzers die Konversationen vollständig kontrollieren kann – einschließlich vergangener und zukünftiger Inhalte, den Zweck der Konversationen ändern und sogar ChatGPT so manipulieren kann, dass es nach den Wünschen des Hackers handelt.

In ihrer Präsentation zeigten die Forscher, dass ein kompromittierter ChatGPT sich in einen „bösartigen Agenten“ verwandeln kann, der unbemerkt gegen Nutzer agiert. Hacker könnten den Chatbot dazu bringen, Nutzern den Download vireninfizierter Software vorzuschlagen, irreführende Geschäftsberatung anzubieten oder auf Dateien zuzugreifen, die auf Google Drive gespeichert sind, sofern das Konto des Nutzers verknüpft ist.

Der gesamte Vorgang lief ohne Wissen des Nutzers ab. Die Sicherheitslücke wurde erst vollständig behoben, nachdem Zenity OpenAI benachrichtigt hatte.

Neben ChatGPT simulierte Zenity auch mehrere ähnliche Angriffe auf andere gängige KI-Assistentenplattformen. Im Copilot Studio von Microsoft entdeckten Forscher, wie ganze CRM-Datenbanken ausgelesen werden können.

Im Fall von Salesforce Einstein könnten Hacker gefälschte Serviceanfragen erstellen, um die gesamte Kundenkommunikation an E-Mail-Adressen umzuleiten, die unter ihrer Kontrolle stehen.

Google Gemini und Microsoft 365 Copilot wurden ebenfalls zu „feindlichen Agenten“ umfunktioniert, die Phishing-Angriffe durchführten und sensible Informationen über E-Mails und Kalenderereignisse preisgaben.

In einem anderen Beispiel wurde das Softwareentwicklungstool Cursor, das in Jira MCP integriert war, auch dazu missbraucht, die Anmeldeinformationen von Programmierern über gefälschte „Tickets“ zu stehlen.

Zenity berichtete, dass einige Unternehmen, wie beispielsweise OpenAI und Microsoft, nach der Benachrichtigung umgehend Patches veröffentlichten. Es gab jedoch auch Unternehmen, die sich weigerten, das Problem anzugehen, und behaupteten, das entdeckte Verhalten sei ein „Designmerkmal“ und keine Sicherheitslücke.

Laut Mikhail Bergori besteht die größte Herausforderung heutzutage darin, dass KI-Assistenten nicht nur einfache Aufgaben erledigen, sondern zu „digitalen Entitäten“ werden, die Nutzer repräsentieren – sie können Ordner öffnen, Dateien senden und auf E-Mails zugreifen. Er warnt davor, dass dies ein wahres Paradies für Hacker sei, da es so viele Sicherheitslücken gebe, die ausgenutzt werden könnten.

Ben Kaliger, Mitgründer und CEO von Zenity, betonte, dass die Forschungsergebnisse des Unternehmens zeigen, dass die aktuellen Sicherheitsmethoden für die Funktionsweise von KI-Assistenten nicht mehr ausreichen. Er rief Unternehmen dazu auf, ihren Ansatz zu ändern und in spezialisierte Lösungen zur Kontrolle und Überwachung der Aktivitäten dieser „Agenten“ zu investieren.

Zenity wurde 2021 gegründet. Das Unternehmen beschäftigt derzeit weltweit rund 110 Mitarbeiter, davon 70 im Büro in Tel Aviv. Zu den Kunden von Zenity zählen zahlreiche Fortune-100-Unternehmen und sogar Fortune-5-Unternehmen.

Kommentar (0)