ChatGPT, DeepSeek искажают научные данные

Было обнаружено, что модели искусственного интеллекта, такие как ChatGPT и DeepSeek, склонны искажать научный контент при обобщении, особенно в медицинской сфере.

Группа исследователей из Германии недавно предупредила о риске предвзятости при использовании чат-ботов на основе ИИ для сокращения исследовательского контента. Проанализировав 4900 научных аннотаций, написанных людьми, команда использовала несколько моделей ИИ для сравнения того, как эти системы обрабатывают информацию. Результаты показали, что большинство чат-ботов были виновны в чрезмерном обобщении, даже когда их просили точно резюмировать.

ИИ склонен к предвзятости при обобщении научных исследований.

В тестах модели ИИ допускали в пять раз больше ошибок, чем эксперты-люди, когда их не направляли. Даже когда существовало четкое требование к точности, уровень ошибок был в два раза выше, чем у стандартного резюме. «Иногда обобщения кажутся безобидными, но на самом деле они меняют характер исходного исследования», — сказал один из членов команды. «Это систематическое смещение».

Примечательно, что более новые версии чат-бота не исправили проблему, а фактически усугубили ее. Благодаря своему гладкому и увлекательному языку, сгенерированные ИИ резюме могут легко показаться достоверными, в то время как фактическое содержание было искажено. В одном случае DeepSeek изменил фразу «безопасно и может быть успешно выполнено» на «безопасное и эффективное лечение» — переосмысление выводов оригинального исследования.

В другом примере модель Llama рекомендовала лекарства от диабета для молодых людей без указания дозировки, частоты или побочных эффектов. Если читатель — врач или специалист в области здравоохранения , который не сверяет информацию с оригинальным исследованием, такие резюме могут представлять прямой риск для пациентов.

Эксперты говорят, что это явление коренится в способе обучения моделей ИИ. Многие чат-боты сегодня обучаются на вторичных данных, например, на научно-популярных новостях, которые уже были сжаты. Поскольку ИИ продолжает суммировать сжатый контент, риск искажения увеличивается.

Эксперты по ИИ в области психического здоровья утверждают, что технические барьеры необходимо создавать на ранних этапах разработки и использования ИИ.

Пользователям следует быть осторожными, поскольку чат-боты могут легко искажать контент.

Поскольку пользователи все больше полагаются на чат-ботов ИИ, чтобы узнать о науке, небольшие ошибки в интерпретации могут быстро накапливаться и распространяться, что приводит к широко распространенным заблуждениям. В то время, когда доверие к науке снижается, этот риск становится еще более тревожным и заслуживает серьезного внимания.

Интеграция ИИ в исследования и распространение знаний — необратимая тенденция. Однако эксперты утверждают, что технологии не могут заменить роль людей в понимании и проверке научного контента. При использовании чат-ботов в областях с высоким риском, таких как медицина, главным приоритетом должна быть точность, а не только плавность языкового опыта или скорость ответа.

Источник: https://khoahocdoisong.vn/chatgpt-deepseek-bop-meo-du-lieu-khoa-hoc-post1552971.html