Группа исследователей из Германии недавно выступила с предупреждением о потенциальной предвзятости при использовании чат-ботов на основе искусственного интеллекта для сокращения объема научных исследований. Проанализировав 4900 научных аннотаций, написанных людьми, группа использовала различные модели ИИ для сравнения того, как эти системы обрабатывают информацию. Результаты показали, что большинство чат-ботов совершали ошибку чрезмерного обобщения, даже когда их просили точно резюмировать материал.
ChatGPT и DeepSeek искажают научные данные.
Было обнаружено, что модели искусственного интеллекта, такие как ChatGPT и DeepSeek, способны искажать научный контент при его обобщении, особенно в медицинской сфере.
Искусственный интеллект может легко исказить содержание при обобщении научных исследований.
В ходе экспериментов модели ИИ допустили в пять раз больше ошибок, чем исследователи-люди, когда их не направляли. Даже при четких требованиях к точности частота ошибок все равно была вдвое выше, чем при использовании стандартного обобщения. Один из членов исследовательской группы прокомментировал: «Обобщение может показаться безобидным, но на самом деле оно меняет природу первоначального исследования. Это системная предвзятость».
Примечательно, что новые версии чат-ботов не только не решают проблему, но и фактически усугубляют её. Благодаря плавной и привлекательной подаче информации, сгенерированные ИИ резюме легко создают впечатление заслуживающих доверия, в то время как фактическое содержание искажается. В одном случае DeepSeek изменил фразу «безопасный и успешно реализуемый» на «безопасное и эффективное лечение» — интерпретация, которая отклонилась от первоначальных выводов исследования.
В другом примере модель Llama применяла рекомендации по приему лекарств от диабета к молодым пациентам, не указывая дозировку, частоту приема или побочные эффекты. Если читатель, врач или медицинский работник, не сверит данные с оригинальным исследованием, подобные резюме могут представлять прямую опасность для пациентов.
Эксперты считают, что это явление связано со способом обучения моделей ИИ. Многие современные чат-боты обучаются с использованием вторичных данных — таких как массово публикуемые научные новости, — которые уже были упрощены. По мере того, как ИИ продолжает обобщать этот упрощенный контент, риск искажения возрастает.
Эксперты в области ИИ в сфере психического здоровья утверждают, что необходимо в ближайшее время установить технические барьеры для разработки и использования ИИ.
Пользователям следует проявлять осторожность, поскольку чат-боты могут легко искажать контент.
Поскольку пользователи все чаще полагаются на чат-боты с искусственным интеллектом для получения научной информации, небольшие неточности в интерпретации могут быстро накапливаться и распространяться, приводя к широко распространенным заблуждениям. В условиях снижения доверия к науке этот риск вызывает особую обеспокоенность и требует должного внимания.
Интеграция ИИ в исследования и распространение знаний — необратимая тенденция. Однако эксперты утверждают, что технологии не могут заменить роль человека в понимании и проверке научного контента. При использовании чат-ботов в таких высокорискованных областях, как здравоохранение, приоритет должен отдаваться точности, а не только плавному восприятию языка или скорости ответа.
Источник: https://khoahocdoisong.vn/chatgpt-deepseek-bop-meo-du-lieu-khoa-hoc-post1552971.html


Прекрасные культурные моменты фестиваля

Весенний дождь








