ChatGPT и DeepSeek искажают научные данные

Было обнаружено, что модели ИИ, такие как ChatGPT и DeepSeek, склонны искажать научное содержание при обобщении, особенно в медицинской сфере.

Группа исследователей из Германии недавно предупредила о риске предвзятости при использовании чат-ботов на основе искусственного интеллекта для сокращения объёма исследований. Проанализировав 4900 научных аннотаций, написанных людьми, группа использовала несколько моделей искусственного интеллекта для сравнения того, как эти системы обрабатывают информацию. Результаты показали, что большинство чат-ботов допускают ошибку чрезмерного обобщения, даже когда их просят точно резюмировать.

ИИ склонен к предвзятости при обобщении научных исследований.

В ходе тестирования модели ИИ без руководства допускали в пять раз больше ошибок, чем эксперты-люди. Даже когда их прямо просили о точности, частота ошибок была вдвое выше, чем при стандартном резюме. «Обобщения иногда кажутся безобидными, но на самом деле они меняют суть исходного исследования», — сказал один из участников команды. «Это систематическая предвзятость».

Примечательно, что новые версии чат-бота не только не решили проблему, но и усугубили её. Благодаря своему плавному и увлекательному языку, сгенерированные ИИ резюме могут легко выглядеть достоверными, в то время как фактическое содержание искажается. В одном случае DeepSeek заменил фразу «безопасно и может быть успешно выполнено» на «безопасное и эффективное лечение», что является неверной интерпретацией выводов исходного исследования.

В другом примере модель Llama рекомендовала молодым людям лекарства от диабета без указания дозировки, частоты приёма и побочных эффектов. Если читатель — врач или другой специалист здравоохранения , не проверяющий исходные исследования, подобные резюме могут представлять прямой риск для пациентов.

Эксперты утверждают, что это явление коренится в способе обучения моделей ИИ. Многие современные чат-боты обучаются на вторичных данных, например, научно-популярных новостях, которые уже были упрощены. Поскольку ИИ продолжает обобщать сокращённый контент, риск искажения возрастает.

Эксперты по ИИ в сфере психического здоровья утверждают, что технические барьеры необходимо создавать на ранних этапах разработки и использования ИИ.

Пользователям следует проявлять осторожность, поскольку чат-боты могут легко искажать контент.

Поскольку пользователи всё чаще полагаются на чат-ботов на основе искусственного интеллекта для изучения науки, небольшие ошибки в интерпретации могут быстро накапливаться и распространяться, вызывая широко распространённые заблуждения. В условиях падения доверия к науке этот риск становится ещё более тревожным и заслуживает должного внимания.

Интеграция ИИ в исследования и распространение знаний — необратимая тенденция. Однако эксперты утверждают, что технологии не могут заменить человека в понимании и проверке научного контента. При использовании чат-ботов в областях с высоким уровнем риска, таких как медицина, главным приоритетом должна быть точность, а не только удобство использования языка или скорость ответа.

Источник: https://khoahocdoisong.vn/chatgpt-deepseek-bop-meo-du-lieu-khoa-hoc-post1552971.html