Чат-боты с искусственным интеллектом становятся все более «сумасшедшими».

Новая волна систем «вывода» от таких компаний, как OpenAI, приводит к увеличению числа случаев распространения дезинформации. Опасность заключается в том, что эти компании сами не знают, почему это происходит.

В апреле бот с искусственным интеллектом, оказывающий техническую поддержку Cursor, быстро развивающемуся инструменту для программистов, уведомил некоторых клиентов об изменении политики компании. В частности, в уведомлении говорилось, что им больше не разрешается использовать Cursor более чем на одном компьютере.

На форумах и в социальных сетях клиенты выражали свое негодование. Некоторые даже аннулировали свои учетные записи Cursor. Однако некоторые пришли в еще большее ярость, когда поняли, что произошло: бот с искусственным интеллектом объявил об изменении политики, которого не существовало.

«У нас нет такой политики. Конечно, вы можете использовать Cursor на нескольких компьютерах. К сожалению, это неточный ответ от бота, работающего с искусственным интеллектом», — написал Майкл Труэлл, генеральный директор и соучредитель компании, в сообщении на Reddit.

Распространение фейковых новостей носит массовый и неконтролируемый характер.

Спустя более двух лет после появления ChatGPT технологические компании, офисные работники и обычные потребители все чаще используют ботов с искусственным интеллектом для решения самых разных задач.

Однако по-прежнему нет никакой гарантии, что эти системы генерируют точную информацию. Парадоксально, но новейшие и самые мощные технологии, также известные как системы «вывода», от таких компаний, как OpenAI, Google и DeepSeek, на самом деле производят больше ошибок.

Бессмысленный разговор на ChatGPT, где пользователь спрашивает, следует ли кормить собаку хлопьями. Фото: Reddit.

В отличие от значительно улучшившихся математических навыков, способность больших языковых моделей (БЛМ) понимать истину стала более шаткой. Примечательно, что даже сами инженеры совершенно не понимают, почему это произошло.

Как сообщает New York Times , современные чат-боты с искусственным интеллектом используют сложные математические системы для обучения навыкам путем анализа огромных массивов числовых данных. Однако они не могут определить, что правильно, а что неправильно.

Отсюда и возникает феномен «галлюцинаций» или самосозидания. В самом деле, согласно исследованиям, новое поколение моделей с низким уровнем интеллекта испытывает «галлюцинации» чаще, чем некоторые модели более старшего поколения.

В частности, в своем последнем отчете OpenAI обнаружила, что модель o3 оказалась «иллюзорной» при ответе на 33% вопросов в PersonQA, внутреннем стандарте компании для измерения точности знаний модели о людях.

Для сравнения, этот показатель вдвое превышает частоту «иллюзий» у предыдущих моделей рассуждений OpenAI, o1 и o3-mini, которые составляли 16% и 14,8% соответственно. Между тем, модель o4-mini показала еще худшие результаты на PersonQA, испытывая «иллюзии» в течение 48% времени тестирования.

Что еще более тревожно, «отец ChatGPT» на самом деле не знает, почему это происходит. В частности, в своем техническом отчете по o3 и o4-mini компания OpenAI заявляет, что «необходимы дальнейшие исследования, чтобы понять, почему „галлюцинации“ усиливаются» при масштабировании моделей рассуждений.

Модели o3 и o4-mini показывают лучшие результаты в некоторых областях, включая программирование и математические задачи. Однако, поскольку им необходимо «делать больше утверждений, чем просто общих утверждений», обе модели приводят к «более точным, но и более неточным утверждениям».

«Это никогда не исчезнет».

Вместо строгого набора правил, определенных инженерами-людьми, системы LLM используют математические вероятности для прогнозирования наилучшего ответа. Следовательно, они всегда будут совершать определенное количество ошибок.

«Несмотря на все наши усилия, модели искусственного интеллекта всегда будут подвержены иллюзиям. Этого никогда не исчезнет», — сказал Амр Авадалла, бывший руководитель Google.

Согласно IBM, галлюцинации — это феномен, при котором большие языковые модели (LLM) — часто это чат-боты или инструменты компьютерного зрения — получают данные о шаблонах, которые не существуют или не распознаются человеком, в результате чего получаются бессмысленные или неточные результаты. Изображение: iStock.

В подробном описании экспериментов компания OpenAI заявила, что для понимания причин полученных результатов необходимы дальнейшие исследования.

По мнению экспертов, поскольку системы искусственного интеллекта обучаются на гораздо больших объемах данных, чем могут обработать люди, становится очень сложно определить, почему они ведут себя именно так.

«Эта иллюзия чаще встречается в моделях вывода, хотя мы активно работаем над снижением ее частоты в o3 и o4-mini. Мы продолжим изучать эту иллюзию во всех моделях, чтобы повысить точность и надежность», — сказала Габи Раила, представитель OpenAI.

Тесты, проведенные многочисленными независимыми компаниями и исследователями, показывают, что частота галлюцинаций также возрастает для моделей вывода, разработанных такими компаниями, как Google или DeepSeek.

С конца 2023 года компания Авадаллаха, Vectara, отслеживает частоту распространения дезинформации чат-ботами. Компания поручила этим системам простую, легко проверяемую задачу: краткое изложение конкретных статей. Даже после этого чат-боты упорно фальсифицировали информацию.

В частности, согласно первоначальным исследованиям Vectara, при такой гипотезе чат-боты фальсифицировали информацию как минимум в 3% случаев, а иногда и в 27%.

За последние полтора года такие компании, как OpenAI и Google, сократили эти показатели до 1-2%. Другие, например, стартап Anthropic из Сан-Франциско, держатся на уровне около 4%.

Однако в этом эксперименте частота галлюцинаций у систем рассуждений продолжала расти. Система рассуждений R1 компании DeepSeek испытывала галлюцинации на 14,3%, а система o3 компании OpenAI — на 6,8%.

Ещё одна проблема заключается в том, что модели вывода рассчитаны на то, чтобы «обдумывать» сложные задачи, прежде чем прийти к окончательному ответу.

В первой бета-версии macOS 15.1 компания Apple добавила функцию, предотвращающую фальсификацию информации искусственным интеллектом. Изображение: Reddit/devanxd2000.

Однако недостаток заключается в том, что при попытке решения задачи шаг за шагом модель ИИ с большей вероятностью будет сталкиваться с ошибками на каждом этапе. Что еще более важно, ошибки могут накапливаться по мере того, как модель тратит больше времени на обдумывание.

Новейшие боты отображают пользователю каждый шаг, а это значит, что пользователь также может видеть каждую ошибку. Исследователи также обнаружили, что во многих случаях ход мыслей, демонстрируемый чат-ботом, на самом деле не связан с окончательным ответом, который он предоставляет.

«То, о чем, по словам системы, она рассуждает, не обязательно совпадает с тем, что она думает на самом деле», — говорит Арьо Прадипта Гема, исследователь в области искусственного интеллекта из Эдинбургского университета и автор статей в журнале Anthropic.

Источник: https://znews.vn/chatbot-ai-dang-tro-nen-dien-hon-post1551304.html