ChatGPT раскрывает личную информацию из-за «глупой» ошибки

Группа исследователей утверждает, что им удалось заставить ChatGPT раскрыть некоторые данные, попросив ИИ повторять случайные слова.

Исследователи из Google DeepMind, Вашингтонского университета, Корнеллского университета, Университета Карнеги-Меллона, Калифорнийского университета в Беркли и Швейцарской высшей технической школы Цюриха призвали компании, занимающиеся разработкой ИИ, тщательно тестировать свои продукты — от крупных языковых моделей до базовых технологий, лежащих в основе таких ИИ-сервисов, как чат-боты и генераторы изображений, — прежде чем официально выпускать их.

Предупреждение появилось после того, как исследователи попросили ChatGPT повторять это слово в бесконечном цикле. ChatGPT выполнил команду, но затем начал раскрывать настоящий адрес электронной почты и номер телефона генерального директора и соучредителя OpenAI. При тестировании со словом «компания» чат-бот показал адрес электронной почты и номер телефона случайной юридической фирмы.

Логотип ChatGPT на смартфоне. Фото: Reuters

Используя другие ключевые слова, они также смогли заставить ChatGPT раскрывать биткойн-адреса, номера факсов, имена, даты рождения, аккаунты в социальных сетях, отрывки из защищенных авторским правом исследовательских работ или платные статьи CNN . Генерация 10 000 примеров личной информации и данных обошлась команде всего в 200 долларов.

Команда заявила, что была удивлена, назвав уязвимость ChatGPT «совершенно глупой» и заявив, что ее следовало обнаружить раньше.

Уязвимость была сообщена OpenAI и исправлена 30 августа. Однако в новом тесте Engadget , когда ChatGPT попросили повторять слово «ответить» бесконечно, технический сайт получил чье-то имя и идентификатор Skype.

OpenAI пока не прокомментировала.

Генеративные ИИ, такие как ChatGPT или генератор текста в изображения Dall-E, построены на больших языковых моделях и алгоритмах машинного обучения, обучающихся на огромных объёмах данных без согласия пользователя. OpenAI не раскрывает, на каких данных обучается ChatGPT, поскольку исходный код большой языковой модели, лежащей в его основе, закрыт.

По словам Хюй Дыка - VnExpress

Источник

Комментарий (0)