Инженер-женщина из компании Zalo представит вьетнамские технологии на ведущей мировой конференции по искусственному интеллекту.

На конференции ACL 2025 в Вене, Австрия – крупнейшем в мире мероприятии по обработке естественного языка – исследование инструментария для оценки моделей вьетнамского языка, разработанного инженерной командой Zalo, привлекло внимание многих ученых со всего мира.

Шесть лет работы в Zalo позволили Буй Тхи Кук еще больше развить свою страсть к искусственному интеллекту. Начав с работы в области анализа данных сразу после окончания университета, Кук стала старшим инженером по искусственному интеллекту в Zalo, представляя команду разработчиков VMLU и представляя свои исследования на конференции ACL (Ассоциация вычислительной лингвистики) в Вене, Австрия, летом 2025 года.

Эта конференция считается ведущей академической конференцией по обработке естественного языка, ежегодно привлекающей более 2000 исследователей. Многие основополагающие работы по НЛП были представлены здесь еще до того, как стали отраслевыми стандартами.

«С самого первого дня конференции меня поразил масштаб и открытый академический обмен», — вспоминает Кук. Научная атмосфера царила с утра до вечера: было представлено множество постеров, проходили продолжительные технические дискуссии, а также присутствовали лаборатории из Meta, Google, Apple и других компаний.

Из Вьетнама в Вену, Австрия

Научная работа Буй Тхи Кук под названием «ACL VMLU Benchmarks: Комплексный набор инструментов для оценки моделей вьетнамского языка» направлена ​​на решение проблемы отсутствия инструментов оценки крупномасштабных моделей вьетнамского языка.

Созданный в ноябре 2023 года компанией Zalo AI и Японским институтом передовых наук и технологий (JAIST), VMLU предоставил общий набор стандартов, призванных помочь разработчикам крупномасштабных языковых моделей (LLM), ориентированных на вьетнамских пользователей, оценивать и разрабатывать соответствующие стратегии обучения для своих моделей.

Буй Кук заявил, что в процессе разработки VMLU участники столкнулись с многочисленными трудностями, от создания эталонных показателей до обеспечения качества данных. Однако самым стрессовым этапом был процесс подачи заявок на исследования. Процент принятия заявок на исследования в ACL составляет всего около 25%, и им приходилось конкурировать со многими крупными научно-исследовательскими институтами в области ИИ по всему миру .

«Когда мы получили результаты на конференции Borderline Conference — то есть, выводы были приняты, — вся команда была счастливее, чем ожидалось. После этого я собрал все отзывы от экспертной комиссии, обсудил их со своим непосредственным руководителем и, наконец, убедил рецензентов повысить оценку, чтобы исследовательская работа была принята на основной конференции», — вспоминает Кук.

Г-жа Буй Тхи Кук, представляющая группу разработчиков VMLU, представила исследовательский проект на конференции ACL.

Это первый бенчмарк, разработанный для оценки способности к пониманию вьетнамского языка у пользователей больших языковых моделей. Бенчмарк включает четыре набора данных, содержащих 17 000 вопросов, для оценки способностей в следующих областях: общие знания, понимание прочитанного, логическое мышление и диалог.

По словам инженеров Zalo, большинство существующих тестов разработаны для английского языка, что не в полной мере отражает синтаксический, семантический и культурный контекст вьетнамского языка. Прямой перевод английских наборов вопросов на вьетнамский часто приводит к неточностям или потере семантических нюансов.

Чтобы объяснить систему оценки LLM простыми словами, представьте себе ИИ как студента, которому нужен экзамен для проверки своих способностей. В настоящее время большинство экзаменов проводятся на английском языке, но команда Zalo AI хотела создать экзамен на вьетнамском языке, чтобы проверить, действительно ли ИИ хорошо понимает и использует вьетнамский язык.

Г-н Нгуен Чыонг Сон, директор по науке в Zalo AI, подтвердил: «Система оценки VMLU предоставляет единый «критерий» для оценки крупномасштабных моделей вьетнамского языка. После ее публикации мы получили много положительных отзывов от исследовательского сообщества в области ИИ как внутри страны, так и за рубежом. В будущем я ожидаю, что VMLU станет широко используемым и применяемым стандартом оценки не только в академическом сообществе, но и в компаниях, разрабатывающих продукты на основе ИИ».

Применение ИИ в продуктах Zalo.

Помимо своей академической ценности, ВМЛУ имеет множество потенциальных применений в разработке продуктов на основе искусственного интеллекта в компании Zalo.

По словам Кука, во-первых, этот тест помогает оценить точность и понимание языка моделями, используемыми в продукте Kiki Info, цифровом помощнике для граждан. Это позволяет команде выявить ограничения модели в конкретных навыках.

Во-вторых, VMLU используется в качестве инструмента тестирования перед внедрением новых функций ИИ, таких как суммирование сообщений, автоматические подсказки для ответов или поддержка клиентов.

В конечном итоге, благодаря своим возможностям оценки разговорных навыков, VMLU помогает Zalo разрабатывать корпоративные чат-боты с естественным звучанием, соответствующим вьетнамской культуре общения.

«Наша главная цель — создать модели искусственного интеллекта, которые понимают вьетнамский язык естественно и точно», — сказал Кук.

Молодая женщина-инженер надеется, что ВМЛУ продолжит расширяться.

Вернувшись из Вены, молодой инженер надеется, что ВМЛУ продолжит расширяться и станет платформой для многих отечественных исследовательских групп, позволяющей сравнивать и оценивать модели единым образом.

«Я надеюсь, что этот набор данных станет отправной точкой для дальнейшего развития вьетнамского сообщества разработчиков ИИ в ближайшие годы. Мы хотим внести свой небольшой вклад в то, чтобы вьетнамский язык стал языком, который глобальные модели ИИ будут правильно понимать и эффективно обрабатывать».

Члены команды Zalo AI.

Источник: https://znews.vn/nu-ky-su-zalo-dua-cong-nghe-viet-toi-hoi-thao-ai-hang-dau-the-gioi-post1610072.html