Zalo разрабатывает модель искусственного интеллекта, принадлежащую вьетнамцам

(Дэн Три) — Zalo — вьетнамская компания, ориентированная на развитие технологий, которая успешно разработала собственную модель искусственного интеллекта. Таким образом, Вьетнам стал одной из немногих стран Юго-Восточной Азии, обладающих моделью искусственного интеллекта, обученной с нуля.

Интерес к ИИ во всем мире растёт, причём основное внимание уделяется странам, где представлены многие из ведущих мировых моделей ИИ, таким как США и Китай. Юго-Восточная Азия — один из важнейших экономических регионов мира — постепенно становится новым центром развития ИИ, предлагая значительные достижения, которые могут заинтересовать мировых политиков, инвесторов и технологических экспертов.

Во Вьетнаме уже имеется собственная модель ИИ, одна из немногих моделей ИИ, разработанных с нуля в регионе Юго-Восточной Азии на сегодняшний день (Фото: Zalo).

Во Вьетнаме партия и правительство также полны решимости формировать и продвигать эпоху технологического развития страны, что нашло отражение в Резолюции 57-NQ/TW «Прорыв в развитии науки и технологий, инновациях и национальной цифровой трансформации». Эта ориентация создала мощный стимул для отечественных технологических предприятий инвестировать и использовать потенциал передовых мировых технологий.

В настоящее время Вьетнам стал одной из немногих стран Юго-Восточной Азии, обладающих собственной моделью обучения на крупных языковых программах (LLM). В частности, с 2023 года Zalo успешно обучает и запускает модель LLM, ориентированную на вьетнамский язык, полностью разработанную командой вьетнамских инженеров.

Выбирайте обучение с самого начала и получайте неожиданные результаты

В настоящее время модели ИИ используют 2 метода обучения, в том числе: метод тонкой настройки модели — это метод оптимизации ранее обученных LLM для создания новых LLM для специализированных целей; метод обучения модели с нуля — это процесс построения совершенно новой модели, от инициализации параметров, выбора архитектуры модели до алгоритма обучения на определенном наборе данных.

Многие компании выбирают методы тонкой настройки благодаря таким преимуществам, как простота внедрения, экономия ресурсов и повышение эффективности. В условиях Вьетнама, где учебное оборудование и данные ограничены, методы тонкой настройки являются оптимальным решением.

Однако Зало с самого начала выбрал именно эту методику обучения. Благодаря этому весь процесс обучения и модель полностью принадлежат вьетнамцам и контролируются ими. Благодаря этому Вьетнам стал одной из немногих стран Юго-Восточной Азии, обладающих собственной разработкой крупной языковой модели (LLM).

На момент запуска в 2023 году первая крупномасштабная языковая модель Zalo с 7 миллиардами параметров, ориентированная на вьетнамский язык, достигла 150% производительности по сравнению с моделью OpenAI GPT3.5 по результатам теста VMLU Vietnamese LLM Competency Assessment Benchmark. Обучение заняло всего 6 месяцев, что значительно меньше изначально запланированных 18 месяцев. Такой быстрый процесс обучения удивил всю команду разработчиков Zalo.

Модель LLM от Zalo заняла 3-е место в конкурсе Kahoot при первом запуске в 2023 году (Фото: Zalo).

В 2024 году модель Zalo с 13 миллиардами параметров превзойдет крупнейшие мировые имена и подтвердит свою позицию двух лучших вьетнамских моделей LLM, подготовленных с нуля, согласно рейтингу компетенций LLM Вьетнама VMLU.

Результаты показывают, что уровень подготовки крупных языковых моделей не уступает мировым показателям по разработке собственной модели ИИ во Вьетнаме, особенно в условиях начальных трудностей разработки.

Вьетнамские усилия по разработке моделей ИИ

Представитель Zalo заявил, что для обучения на степень магистра права (LLM) необходимы три основных элемента: учебное оборудование, данные и технический уровень. Ранее во Вьетнаме по-прежнему существовало множество ограничений по всем трём аспектам. В частности, несмотря на то, что крупные компании мира владеют тысячами новейших высокопроизводительных графических процессоров Nvidia, во Вьетнаме инженеры до сих пор не полностью оснащены необходимой серверной инфраструктурой. Кроме того, вьетнамский язык входит в группу языков с более скудными информационными ресурсами, чем английский или китайский. Человеческие ресурсы и опыт обучения на степень магистра права (LLM) во Вьетнаме также ограничены по сравнению с развитыми странами.

В то время команде Zalo приходилось проводить исследования и эксперименты на небольших гражданских графических процессорах, чтобы вооружиться знаниями и возможностями обучения на степень магистра права, которые были бы готовы, как только станет доступна крупная вычислительная инфраструктура.

Чипы для обучения ИИ дефицитны, поэтому, несмотря на то, что Zalo заказала 8 серверов Nvidia DGX H100, компания не может одновременно владеть всеми устройствами и вынуждена ждать поставки каждой партии от производителя. Поэтому оптимизация незавершённой вычислительной инфраструктуры для экономии времени обучения также является задачей, которую предстоит решить команде Zalo.

В то же время инвестиции также направляются на разработку качественных данных по обучению, чтобы компенсировать нехватку вьетнамских источников данных.

«Хотя старт был сложным по сравнению с крупными мировыми компаниями, Zalo всё же решила присоединиться к гонке с целью успешной разработки собственной модели искусственного интеллекта во Вьетнаме. Мы консультировались с исследователями и инженерами многих ведущих мировых исследовательских институтов, чтобы разработать подходящую стратегию развития.

«Текущие вехи успеха мотивируют инженеров Zalo продолжать оптимизировать модель, чтобы увеличить её количество и улучшить качество. В то же время, использовать её возможности для создания множества ИИ-продуктов мирового класса для вьетнамских пользователей», — отметил доктор Нгуен Труонг Сон, директор по науке Zalo AI.

Сервер DGX H100, который Zalo заказал у Nvidia (Фото: Zalo).

Благодаря гибкой адаптации на сложных начальных этапах разработки Zalo постепенно достигла успешных результатов, продвигаясь к овладению глобальной технологией ИИ в ее нынешнем виде.

В настоящее время модель искусственного интеллекта Zalo не только успешна с точки зрения исследований в области обучения, но и применяется на практике, способствуя доступу и использованию преимуществ передовых новых технологий для вьетнамцев.

Ранее в этом году Zalo запустил Kiki Info Q&A Assistant, который работает в качестве официального аккаунта (OA) на платформе обмена сообщениями Zalo. Помощник поддерживает функцию вопросов и ответов на различные темы из жизни, создания контента и развлечений. Согласно статистике Zalo, менее чем за два месяца к аккаунту OA на Zalo обратилось до 1 миллиона пользователей Kiki Info.

Модель LLM Zalo применяется для разработки Kiki Info Assistant (Фото: Zalo).

Ещё одно применение модели LLM Zalo — это ИИ-открытки, которые также достигли отметки в 15 миллионов, созданных и отправленных всего за 2 месяца. Это приложение интересно многим пользователям Zalo, поскольку позволяет отправлять поздравления родным и друзьям с важными праздниками.

В настоящее время Zalo продолжает расширять и развивать приложения на основе больших языковых моделей, обещая принести много полезной пользы отечественным пользователям.

Источник: https://dantri.com.vn/cong-nghe/zalo-phat-trien-mo-hinh-ai-do-nguoi-viet-lam-chu-20250616161352610.htm