В чём ChatGPT уступает чат-боту Baidu?

Согласно отчету организации NewsGuard, занимающейся борьбой с дезинформацией, ChatGPT предоставляет более неточную информацию на китайском языке, чем на английском. Хотя сами модели являются многоязычными, языки представляют собой отдельные, частично совпадающие регионы набора данных, и моделям не хватает механизмов для сравнения степени различий между фразами или прогнозами в этих регионах.

По данным TechCrunch , когда пользователи просят ChatGPT ответить на английском языке, система в основном извлекает все имеющиеся у нее данные на английском языке, и то же самое относится к китайскому языку.

В марте Baidu представила «Ernie Bot» — чат-бота, созданного на основе модели искусственного интеллекта Ernie, разработанной китайским поисковым гигантом. На фоне продолжающейся и напряженной технологической гонки между США и Китаем инвестиции Baidu в разработку ИИ привлекли еще больше внимания.

Как сообщает Reuters, компания Baidu сослалась на результаты тестирования, проведенного газетой China Science Daily с использованием наборов данных AGIEval и C-Eval — двух стандартов, используемых для оценки производительности моделей искусственного интеллекта.

В настоящее время в гонке за развитие искусственного интеллекта в Китае участвуют три основных игрока: Tencent, Alibaba и Baidu.

Эрни, набрав 3,5 балла, продемонстрировал выдающиеся способности на тесте по китайскому языку, основанном на вступительных и квалификационных экзаменах, таких как вступительные экзамены в университеты или экзамены на получение адвокатской лицензии.

В другом тесте по китайскому языку, включавшем 13 000 вопросов с множественным выбором по 50 различным темам, Ernie 3.5 продолжил демонстрировать превосходство над двумя конкурентами от OpenAI. Однако при проведении третьего теста, разработанного группой американских университетов, который включал вопросы по естественным и социальным наукам , Ernie 3.5 был полностью превзойдён ChatGPT и GPT 4.

Технический директор Baidu, Хайфэн Ван, заявил, что всего через три месяца после бета-версии Ernie Bot, большая языковая модель Baidu (LLM), построенная на основе Ernie 3.0 и Ernie 3.5, продемонстрировала улучшения в эффективности, функциональности и производительности. Эти улучшения очевидны в написании, запросах, рассуждениях и генерации кода, а также в производительности обучения и вывода, сказал технический директор.

Компания Baidu также заявила, что новая модель будет поддерживать плагины от Baidu и сторонних разработчиков. По словам компании, плагин «Baidu Search» интегрирован и позволяет Ernie Bot генерировать точную информацию в режиме реального времени. Плагины — это дополнительные приложения, которые позволяют ИИ функционировать в конкретных ситуациях, например, для суммирования длинных текстов и генерации более точных ответов.

Согласно результатам теста, проведенного в июне информационным агентством Синьхуа, бот Ernie Bot от Baidu занял первое место среди «китайских чат-платформ для обмена сообщениями». Baidu активно продвигает интеграцию Ernie Bot в другие свои продукты, такие как облачные сервисы, и, по данным SCMP , объявила о создании венчурного фонда в размере 139 миллионов долларов для инвестиций в китайские стартапы в области генеративного искусственного интеллекта.

Генеральный директор и соучредитель Baidu Робин Ли заявил, что вполне предсказуемо, что крупные языковые модели будут все шире проникать в различные области, становясь ключевым фактором, движущим цифровую экономику .

Ссылка на источник