Почему ChatGPT проигрывает чат-боту Baidu?

Согласно отчету NewsGuard, наблюдающего за дезинформацией, ChatGPT с большей вероятностью искажал информацию на китайском языке, чем на английском. Хотя сами модели являются многоязычными, языки представляют собой отдельные перекрывающиеся регионы набора данных, и у моделей нет механизма для сравнения того, как определенные фразы или прогнозы различаются между этими регионами.

По данным TechCrunch , когда пользователь просит ChatGPT ответить на английском языке, он по сути извлекает все имеющиеся у него данные на английском языке, то же самое касается и китайского.

В марте Baidu представила «Ernie Bot» — чат-бота на основе модели искусственного интеллекта (ИИ) Ernie китайского поискового гиганта. Поскольку технологическая гонка между США и Китаем продолжает бушевать, инвестиции Baidu в ИИ и его развитие привлекают еще больше внимания.

По данным Reuters, Baidu сослался на результаты испытаний, проведенных China Science Daily с использованием наборов данных AGIEval и C-Eval — двух эталонных тестов, используемых для оценки производительности моделей ИИ.

К гонке за развитие искусственного интеллекта в Китае теперь присоединились три «больших парня»: Tencent, Alibaba и Baidu.

Эрни 3.5 продемонстрировал выдающиеся способности на тесте по китайскому языку, содержание которого основано на вступительных и профессиональных тестах, таких как вступительные экзамены в колледж или экзамены на получение адвокатской лицензии.

В другом китайском тесте с 13 000 вопросов с множественным выбором, охватывающих 50 различных тем, Ernie 3.5 продолжил превосходить двух конкурентов OpenAI. Однако при прохождении третьего теста, разработанного группой университетов в США, который включал вопросы по науке и обществу, Ernie 3.5 полностью отстал от ChatGPT и GPT 4.

Технический директор Baidu Хайфэн Ван сказал, что всего через три месяца после выпуска бета-версии Ernie Bot, большой языковой модели Baidu (LLM), построенной на Ernie 3.0, Ernie 3.5 достигла улучшений в эффективности, функциональности и производительности. Эти улучшения очевидны в написании, ответах на запросы, рассуждениях и генерации кода, а также в производительности обучения и вывода, сказал технический директор.

Baidu также заявила, что новая модель будет поддерживать плагины от Baidu и третьих лиц. Компания заявила, что плагин «Baidu Search» был интегрирован и снабдит Ernie Bot возможностью генерировать точную информацию в реальном времени. Плагины — это дополнительные приложения, которые позволяют ИИ работать в определенных ситуациях, например, резюмировать длинные тексты и генерировать более точные ответы.

Ernie Bot от Baidu занял первое место среди «ChatGPT Китая» по результатам июньского теста, проведенного агентством Xinhua. Baidu стремится интегрировать Ernie Bot в другие продукты, такие как облачные сервисы, и объявила о создании венчурного фонда на сумму 139 миллионов долларов для инвестирования в китайские стартапы в сфере генеративного ИИ, сообщает SCMP .

По словам генерального директора и соучредителя Baidu Робина Ли, можно предположить, что большие языковые модели будут все больше проникать в новые области, становясь ключевым фактором развития цифровой экономики .

Ссылка на источник