Чем умнее искусственный интеллект, тем больше вероятность, что он скроет свое невежество?

Исследовательская группа по искусственному интеллекту (ИИ) из Политехнического университета Валенсии (Испания) обнаружила, что по мере того, как большие языковые модели становятся больше и сложнее, они, как правило, реже признаются пользователям, что не знают ответа.

Чем умнее ИИ, тем меньше вероятность, что он признается пользователям, что не знает ответа. (Иллюстрация ИИ)

В исследовании, опубликованном в журнале Nature , группа протестировала последние версии трех самых популярных чат-ботов на основе искусственного интеллекта на скорость реагирования, точность и способность пользователей обнаруживать неправильные ответы.

Чтобы проверить точность трёх самых популярных экзаменов LLM: BLOOM, LLaMA и GPT, команда задала тысячи вопросов и сравнила полученные ответы с предыдущими версиями тех же вопросов. Они также варьировали темы, включая математику, естественные науки , словесные головоломки и географию, а также проверяли способность генерировать текст или выполнять такие действия, как сортировка списков.

Исследование выявило несколько примечательных тенденций. Общая точность чат-ботов повышалась с каждой новой версией, но всё ещё снижалась при ответах на более сложные вопросы. Удивительно, но по мере того, как магистратура права становилась крупнее и опытнее, они, как правило, всё менее открыто говорили о своей способности давать правильные ответы.

В более ранних версиях большинство LLM-программ прямо сообщали пользователям, когда они не могли найти ответ или нуждались в дополнительной информации. В новых версиях, напротив, чаще используются догадки, что приводит к увеличению общего числа ответов, как правильных, так и неправильных. Ещё более тревожным является то, что исследование показало, что все LLM-программы иногда давали неправильные ответы даже на простые вопросы, что говорит о том, что их надёжность остаётся областью для совершенствования.

Эти результаты подчеркивают парадокс в эволюции ИИ: в то время как модели становятся более мощными, они также могут стать менее прозрачными в отношении своих ограничений.

Это создает новые проблемы в использовании и доверии к системам ИИ, требуя от пользователей большей осторожности, а от разработчиков — сосредоточиться не только на повышении точности, но и «самосознания» моделей.

Источник: https://baoquocte.vn/cang-thong-minh-tri-tue-nhan-tao-cang-co-xu-huong-giau-dot-287987.html