Чем умнее искусственный интеллект, тем больше вероятность, что он скроет свое невежество?

Исследовательская группа по искусственному интеллекту (ИИ) из Политехнического университета Валенсии (Испания) обнаружила, что по мере того, как большие языковые модели становятся больше и сложнее, они, как правило, реже признаются пользователям, что не знают ответа.

Чем умнее ИИ, тем меньше вероятность, что он признается пользователям, что не знает ответа. (Иллюстрация ИИ)

В исследовании, опубликованном в журнале Nature , группа протестировала последние версии трех самых популярных чат-ботов на основе искусственного интеллекта на скорость реагирования, точность и способность пользователей обнаруживать неправильные ответы.

Чтобы проверить точность трёх самых популярных экзаменов LLM: BLOOM, LLaMA и GPT, команда задала тысячи вопросов и сравнила полученные ответы с предыдущими версиями тех же вопросов. Также были выбраны различные темы, включая математику, естественные науки , текстовые задачи и географию, а также способность генерировать текст или выполнять такие действия, как сортировка списков.

Исследование выявило несколько примечательных тенденций. Общая точность чат-ботов повышалась с каждой новой версией, но всё ещё снижалась при ответах на более сложные вопросы. Удивительно, но по мере того, как магистратура права становилась крупнее и опытнее, они, как правило, всё менее открыто говорили о своей способности давать правильные ответы.

В более ранних версиях большинство LLM открыто сообщали пользователям, когда те не могли найти ответ или нуждались в дополнительной информации. В новых версиях, напротив, чаще используются догадки, что приводит к увеличению общего числа ответов, как правильных, так и неправильных. Ещё более тревожным является то, что исследование показало, что все LLM иногда давали неправильные ответы даже на простые вопросы, что говорит о том, что их надёжность остаётся проблемой, требующей улучшения.

Эти результаты подчеркивают парадокс в эволюции ИИ: в то время как модели становятся более мощными, они также могут стать менее прозрачными в отношении своих ограничений.

Это создает новые проблемы в использовании и доверии к системам ИИ, требуя от пользователей большей осторожности, а от разработчиков — сосредоточиться не только на повышении точности, но и «самосознания» моделей.

Источник: https://baoquocte.vn/cang-thong-minh-tri-tue-nhan-tao-cang-co-xu-huong-giau-dot-287987.html