Технологический гигант OpenAI рекламирует свой инструмент преобразования речи в текст Whisper как искусственный интеллект с «человеческой точностью и надежностью». Но у Whisper есть один серьезный недостаток: он генерирует совершенно фальшивый текст и предложения.
Некоторые тексты, сгенерированные ИИ, называемые «галлюцинациями», могут включать расистские комментарии, грубую лексику и даже воображаемые медицинские процедуры — Фото: AP
По данным AP, часть текста, сгенерированного ИИ, нереальна и называется «галлюцинаторной», а также включает расистские комментарии, грубую лексику и даже вымышленные методы лечения.
Высокий уровень «иллюзий» в текстах, созданных ИИ
Эксперты особенно обеспокоены тем, что Whisper широко используется во многих отраслях по всему миру для перевода и расшифровки интервью, генерации текста в популярных потребительских технологиях и создания субтитров для видео.
Еще большую тревогу вызывает тот факт, что многие медицинские центры используют Whisper для передачи консультаций между врачами и пациентами, хотя OpenAI предупреждает, что этот инструмент не следует использовать в зонах «высокого риска».
Точный масштаб проблемы определить сложно, но исследователи и инженеры говорят, что в своей работе они регулярно сталкиваются с «галлюцинациями» Whisper.
Исследователь из Мичиганского университета сказал, что он обнаружил «галлюцинации» в восьми из десяти аудиотранскрипций, которые он исследовал. Инженер-компьютерщик обнаружил «галлюцинации» примерно в половине транскрипций более 100 часов аудио, которые он проанализировал. Другой разработчик сказал, что обнаружил «галлюцинации» почти во всех из 26 000 записей, которые он создал с помощью Whisper.
Проблема сохраняется даже с короткими, четко записанными аудиофрагментами. Недавнее исследование компьютерных ученых обнаружило 187 «иллюзий» в более чем 13 000 четких аудиоклипов, которые они исследовали. Эта тенденция приведет к десяткам тысяч ложных транскрипций в миллионах записей, заявили исследователи.
По словам Алондры Нельсон, которая до прошлого года возглавляла Управление по науке и технологиям Белого дома в администрации Байдена, такие ошибки могут иметь «очень серьезные последствия», особенно в больничных условиях.
«Никто не хочет получить неправильный диагноз», — сказал Нельсон, ныне профессор Института перспективных исследований в Принстоне, штат Нью-Джерси. «Должен быть более высокий стандарт».
Whisper также используется для создания субтитров для глухих и слабослышащих — группы населения, которая особенно подвержена риску неправильного перевода. Это связано с тем, что глухие и слабослышащие люди не могут определить сфабрикованные отрывки, «скрытые во всем остальном тексте», — говорит Кристиан Фоглер, глухой и директор Программы доступности технологий в Университете Галлодета.
OpenAI призван решить проблему
Распространенность таких «галлюцинаций» заставила экспертов, сторонников и бывших сотрудников OpenAI призвать федеральное правительство рассмотреть вопрос о регулировании ИИ. Как минимум, OpenAI необходимо устранить этот недостаток.
«Эта проблема разрешима, если компания готова поставить ее в приоритет», — сказал Уильям Сондерс, инженер-исследователь из Сан-Франциско, покинувший OpenAI в феврале из-за опасений по поводу направления развития компании.
«Это проблема, если вы выпускаете его, и люди настолько уверены в том, что он может делать, что интегрируют его во все эти другие системы», — сказал представитель OpenAI. Компания постоянно работает над способами смягчения этих «иллюзий» и ценит выводы исследователей, добавляя, что OpenAI включает обратную связь в обновления модели.
В то время как большинство разработчиков предполагают, что движки для преобразования текста в речь могут допускать опечатки или другие ошибки, инженеры и исследователи утверждают, что никогда не видели движка для преобразования текста в речь на базе искусственного интеллекта, который бы «галлюцинировал» так часто, как Whisper.
Нобелевская премия по физике 2024 года: Основатели ИИИсточник: https://tuoitre.vn/cong-cu-ai-chuyen-loi-noi-thanh-van-ban-cua-openai-bi-phat-hien-bia-chuyen-20241031144507089.htm
Комментарий (0)