Хакеры атакуют искусственный интеллект Microsoft, чтобы украсть пароли пользователей

С помощью, казалось бы, безобидного электронного письма искусственный интеллект Microsoft Copilot может автоматически раскрыть конфиденциальные данные без какого-либо вмешательства пользователя.

В Microsoft 365 Copilot, ИИ-помощнике, встроенном в офисный пакет приложений, таких как Word, Excel, Outlook, PowerPoint и Teams, обнаружена серьёзная уязвимость безопасности. Это открытие, обнародованное компанией Aim Security, специализирующейся на кибербезопасности, вызывает опасения по поводу атак на агентов ИИ.

Хакерам достаточно просто отправить пользователю электронное письмо со ссылкой, и Copilot запустится сам, причем пользователю даже не придется открывать письмо.

Уязвимость, получившая от Aim Security название EchoLeak, позволяет злоумышленникам получить доступ к критически важным данным без каких-либо действий со стороны пользователя. Это первая известная атака «без щелчков» на ИИ-агента — систему, использующую большую языковую модель (LLM) для автоматического выполнения задач.

Первый раз, когда ИИ подвергся нападению

В случае с Microsoft Copilot злоумышленник просто отправляет пользователю электронное письмо со скрытой ссылкой. Поскольку Copilot автоматически сканирует электронные письма в фоновом режиме, он считывает и выполняет эти команды, не требуя взаимодействия с получателем. В результате ИИ можно использовать для доступа к документам, таблицам и внутренним сообщениям, их извлечения и передачи данных хакеру.

«Мы благодарны Aim Security за ответственное выявление и сообщение об этой проблеме, что позволило решить её до того, как она затронет клиентов. Обновления продукта уже установлены, и от пользователей не требуется никаких действий», — подтвердил представитель Microsoft журналу Fortune.

Tin tặc đang tìm cách khai thác AI Microsoft 365 Copilot. Ảnh: Bloomberg. — Хакеры пытаются использовать искусственный интеллект Microsoft 365 Copilot. Фото: Bloomberg.

Однако, по данным Aim Security, проблема кроется глубже, в самой сути ИИ-агентов. Адир Грусс, соучредитель и технический директор Aim Security, заявил, что уязвимость EchoLeak — признак того, что современные системы ИИ повторяют ошибки безопасности, допущенные в прошлом.

«Мы обнаружили ряд уязвимостей, которые позволили злоумышленнику провести атаку, эквивалентную атаке без нажатия кнопки на телефоне, но на этот раз против системы искусственного интеллекта», — сказал Грусс. Он добавил, что команда потратила около трёх месяцев на анализ и обратную разработку Microsoft Copilot, чтобы определить, как можно манипулировать ИИ.

Несмотря на то, что Microsoft отреагировала и выпустила исправление, Грусс заявил, что пятимесячный срок устранения проблемы — «слишком долгий, учитывая её серьёзность». Он объяснил, что это отчасти связано с новизной концепции уязвимости и временем, которое потребовалось инженерным группам Microsoft для её выявления и устранения.

Исторические недостатки дизайна снова всплывают на поверхность, угрожая всей технологической отрасли

По словам Грасса, EchoLeak затрагивает не только Copilot, но также может применяться к аналогичным платформам, таким как Agentforce (Salesforce) или протокол MCP от Anthropic.

«Если бы я руководил компанией, внедряющей ИИ-агента, я бы ужаснулся. Именно такой недостаток проектирования десятилетиями наносил ущерб технологической отрасли, а теперь он возвращается с появлением ИИ», — сказал Грасс.

Microsoft đã triển khai biện pháp để khắc phục lỗ hổng trên Copilot. Ảnh: Bloomberg. — Microsoft приняла меры для устранения уязвимости Copilot. Фото: Bloomberg.

Корневая причина этой проблемы заключается в том, что существующие ИИ-агенты не различают достоверные и недостоверные данные. Грусс считает, что долгосрочное решение — полностью перестроить подход к построению ИИ-агентов, чтобы они могли чётко различать достоверные данные и опасную информацию.

В настоящее время Aim Security предлагает временные меры по снижению рисков для некоторых клиентов, использующих ИИ-агентов. Однако это лишь временное решение, и новая версия системы может обеспечить информационную безопасность пользователей.

«Все известные мне компании из списка Fortune 500 боятся внедрять ИИ-агенты в производство. Возможно, они и экспериментируют, но такие уязвимости не дают им спать по ночам и тормозят инновации», — заявил технический директор Aim Security.