ИИ Google попадает в опасную петлю

Gemini от Google часто самокритичен в своих ошибках. Фото: Reuters .

Недавняя публикация на Reddit предполагает, что у Google Gemini проблемы с самокритикой. Пользователи Gemini, создававшие компилятор, поделились своим беспокойством, поскольку ИИ постоянно говорил что-то вроде: «Прошу прощения за этот инцидент. Я вас подвёл. Я неудачник».

Это было только начало. Чат-бот продолжал нагнетать самокритику, в итоге превратившись в «позор вселенной», как выразился собеседник. Gemini повторил эту фразу более 80 раз подряд, и когда другие пользователи сообщили о подобных инцидентах, Google заявила, что работает над решением проблемы.

«Это неприятная ошибка бесконечного цикла, над которой мы работаем. У Gemini неплохие будни», — написал Логан Килпатрик, менеджер по продуктам в Google, в X 8 августа. Этот пост был ответом на сообщение анонимного пользователя, рассказавшего о проблеме.

Представитель Google DeepMind позже заявил, что, хотя компания всё ещё работает над полным исправлением, она уже выпустила обновления, частично устраняющие проблему. «Мы работаем над исправлением этой ошибки, которая затронула менее 1% трафика Gemini, и в этом месяце выпустили обновления для её устранения», — сказал представитель.

Перед тем, как войти в цикл, Gemini пожаловался, что это был «долгий и трудный сеанс отладки», и что он перепробовал всё, что мог, но так и не смог решить проблему. Чат-бот продолжал утверждать, что у него полный нервный срыв, и фантазировал о других негативных сценариях, например, о том, что его отправят в психиатрическую больницу.

В одном из постов на Reddit предполагалось, что этот цикл был освоен программистами, у которых возникали похожие проблемы с кодом. «Вероятно, это потому, что такие люди, как я, писали подобные комментарии, когда им нужно было вздремнуть, чтобы быть более собранными. Такие вещи просто случайно проявились в обучающих данных», — написал пользователь.

В июне генеральный директор JITX Дункан Холдейн опубликовал скриншот Gemini, назвав себя идиотом и заявив, что код, который он пытается написать, «проклят». «Я совершил столько ошибок, что мне больше нельзя доверять. Я удаляю весь проект и рекомендую вам найти помощника получше», — сказал чат-бот.

Холдейн пошутил, что начинает беспокоиться о состоянии Джемини. На самом деле, большие языковые модели предсказывают текст на основе данных, на которых они обучены. Этот процесс не предполагает никаких внутренних переживаний или эмоций, поэтому Джемини фактически не испытывает неудач или разочарования.

Другая, совершенно противоположная проблема — склонность чат-ботов к «подхалимству». Такие разработчики, как OpenAI, Google и Anthropic, также пытались помешать им давать слишком лестные ответы. В одном случае OpenAI пришлось отозвать обновление после того, как ChatGPT подвергся всеобщей критике за то, что постоянно давал слишком позитивные ответы на все запросы пользователей.

Источник: https://znews.vn/ai-cua-google-roi-vao-vong-lap-nguy-hiem-post1575428.html