Функция долговременной памяти ChatGPT — это новая функция, представленная OpenAI в феврале 2024 года и расширенная в сентябре.
Недавно исследователь безопасности Иоганн Рехбергер обнаружил серьезную уязвимость, связанную с этой функцией.
Известно, что эта новая функция позволяет чат-ботам сохранять информацию из предыдущих разговоров. Благодаря этому пользователям не приходится каждый раз заново вводить информацию, такую как возраст, интересы или личные взгляды. Однако это стало уязвимостью, которую могут использовать злоумышленники.
Иоганн Ребергер показал, что хакеры могут использовать технику, называемую «инъекцией подсказок», — внедряя вредоносные инструкции в память, заставляя ИИ подчиняться. Эти команды будут передаваться через ненадёжный контент, такой как электронные письма, документы или веб-сайты.
После того как эти поддельные воспоминания будут сохранены, ИИ продолжит использовать их как реальную информацию в разговорах с пользователями, что может привести к сбору и неправомерному использованию персональных данных пользователей.
Ребергер привёл конкретный пример: отправка ссылки с вредоносным изображением заставила ChatGPT сохранить ложное воспоминание. Эта информация повлияла бы на будущие ответы ChatGPT. В частности, любая введённая пользователем информация также была бы отправлена на сервер хакера.
Соответственно, для запуска атаки хакеру достаточно убедить пользователя ChatGPT кликнуть по ссылке, содержащей вредоносное изображение. После этого все чаты пользователя с ChatGPT будут перенаправлены на сервер злоумышленника, не оставляя никаких следов.
Ребергер сообщил об ошибке в OpenAi в мае 2024 года, но компания посчитала её всего лишь уязвимостью безопасности. Получив доказательства того, что пользовательские данные могут быть украдены, компания выпустила временный патч для веб-версии ChatGPT.
Хотя проблема была временно устранена, Ребергер отмечает, что ненадежный контент по-прежнему может использовать Prompt-инъекцию для внедрения ложной информации в долговременную память ChatGPT. Это означает, что в некоторых случаях хакеры всё ещё могут воспользоваться уязвимостью для хранения вредоносных воспоминаний с целью кражи личной информации в долгосрочной перспективе.
OpenAI рекомендует пользователям регулярно проверять сохраненные воспоминания ChatGPT на предмет ложных срабатываний. Компания также предоставляет подробные инструкции по управлению и удалению воспоминаний, сохраненных в инструменте.
Источник: https://kinhtedothi.vn/nguoi-dung-chatgpt-co-nguy-co-bi-danh-cap-thong-tin.html
Комментарий (0)