Зало и путь преодоления препятствий ради достижения внутренних устремлений

Пока весь мир наблюдает за стремительным прогрессом сверхдержав в области искусственного интеллекта, команда инженеров-технологов Zalo начинает амбициозный путь: освоить искусственный интеллект на вьетнамском языке.

Бурный рост генеративного искусственного интеллекта (Generative AI) полностью изменил глобальный технологический ландшафт.

С тех пор, как OpenAI запустила ChatGPT в конце 2022 года, постоянно появляется серия аналогичных моделей LLM, применяемых во многих областях, таких как здравоохранение, образование , финансы, юриспруденция... Гонка стала жесткой не только в масштабах предприятия, но и в национальном масштабе с точки зрения возможностей обучения, вычислительной инфраструктуры и данных.

Крупные компании, такие как OpenAI, Google, Meta или Microsoft, обладающие финансовым потенциалом и благоприятными условиями, «быстро» инвестировали миллиарды долларов в приобретение тысяч высокопроизводительных графических процессоров, таких как Nvidia H100, — ключевого фактора для обучения моделей LLM. В этот период стоимость акций Nvidia резко выросла, отражая потребность мира в инфраструктуре.

Между тем, технологические компании в развивающихся странах, помимо проблем со стоимостью, сталкиваются с ограничениями на импорт и экспорт оборудования для ИИ-чипов из США. Это приводит к нехватке учебного оборудования и более «медленным» темпам работы по сравнению с технологическими гигантами. Zalo, стремящаяся к развитию на внутреннем рынке, не является исключением.

Что касается данных, предыдущие задачи машинного обучения требовали больших объёмов обучающих данных, но для больших языковых моделей это огромный объём данных. Для создания достаточно хорошей модели системе LLM требуются десятки, а то и сотни миллиардов входных текстовых токенов. Между тем, по популярности вьетнамский язык не «на уровне» английского и китайского. Это многократно усложнило задачу вьетнамских разработчиков LLM.

В 2023 году крупные языковые модели (LLM), такие как GPT-3.5 и GPT-4, произвели фурор в мире технологий, и многие вьетнамские предприятия также выбрали зарубежные доработанные модели, чтобы сократить путь и продвинуться в процессе обучения LLM.

Зало выбрал другой путь — более сложный, но и более автономный: самостоятельное обучение модели с нуля (модель с нуля). Этот путь требует создания всего с нуля — от данных и архитектуры модели до всего процесса обучения. Это решение было принято не для того, чтобы конкурировать с гигантами, а для того, чтобы воплотить в жизнь стремление вьетнамского народа: освоить модель магистратуры права (LLM) на родном языке.

«Мы предвидели трудности и всё же решили присоединиться к игре пораньше. Мы не конкурировали напрямую с «большими парнями», а выбрали нишевый рынок, где могли добиться большего. Мы стремимся создать модель, которую вьетнамцы будут полностью контролировать — от данных до алгоритмов», — поделился доктор Нгуен Труонг Сон, директор по науке Zalo AI.

Несмотря на множество препятствий, связанных с тремя основными факторами, включая инфраструктуру, данные и уровень подготовки, вьетнамские инженеры активно находили решения. Это демонстрирует силу духа и волю вьетнамского народа в сложных условиях, особенно в данном случае, когда они преодолевают трудности в процессе получения степени магистра права для вьетнамских специалистов.

Для подготовки LLM инженерам требовалась соответствующая инфраструктура. Но в то время графические процессоры, такие как Nvidia H100, были практически «мировой редкостью». Крупные компании, в свою очередь, оформляли на них предварительные заказы на год и платили миллионы долларов за их приобретение. Во Вьетнаме Zalo также пытался купить восемь серверов DGX H100, но это оказалось непросто: приходилось ждать каждую партию от производителя.

В отсутствие графических процессоров Nvidia вьетнамским инженерам приходилось гибко использовать потребительские видеокарты для экспериментов с каждой строкой кода и запуска каждой небольшой модели. Вместо того чтобы ждать, инженеры активно готовились, чтобы к моменту появления современного оборудования всё было готово.

Что касается данных, то вместо того, чтобы полагаться на имеющиеся ресурсы, Zalo инвестировал в создание высококачественного хранилища данных специально для вьетнамского языка, чтобы компенсировать серьезный дефицит по сравнению с английским и китайским языками.

Благодаря гибкой стратегии разработки Zalo удалось сократить сроки разработки своей крупной языковой модели с ожидаемых 18 месяцев до 6 месяцев. В конце 2023 года крупная языковая модель Zalo для вьетнамского языка была официально представлена ​​на мероприятии Zalo AI Summit, собравшем ведущее вьетнамское сообщество в области технологий и искусственного интеллекта. Здесь LLM-модель Zalo дебютировала в конкурсе Kahoot, организованном Tinhte.vn, и неожиданно превзошла GPT 3.5, уступив только GPT4 — LLM-модели, которая на тот момент считалась сильнейшей в мире.

Модель Zalo, основанная на платформе оценки VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models), в 1,5 раза мощнее модели GPT-3.5 от OpenAI. К концу 2024 года эта модель превзойдёт такие известные имена, как GPT-4 (OpenAI), Gemma-2-9B (Google) или Phi-3-small (Microsoft), уступая только LLaMA-3-70B от Meta по производительности обработки вьетнамского языка в рейтинге VMLU.

Не останавливаясь только на исследованиях, Zalo постепенно воплощает лабораторные технологии в жизнь, коммерциализируя и популяризируя прикладные продукты LLM.

В начале 2025 года сервис вопросов и ответов Kiki Info, работающий в качестве официального аккаунта на платформе Zalo, привлек более 1 миллиона пользователей менее чем за 2 месяца. Другое приложение, Thiep AI, также достигло впечатляющего показателя в 15 миллионов открыток, созданных и отправленных всего за 2 месяца.

История Zalo — это не просто история компании, стремящейся развивать технологии. Это часть более широкой картины: Вьетнам активно продвигает инновации, следуя политике, изложенной в Резолюции 57-NQ/TW, в области развития науки и технологий и национальной цифровой трансформации. Особое внимание уделяется области искусственного интеллекта.

Появление и быстрое развитие вьетнамской программы LLM в Zalo — это не только технологический шаг вперед для бизнеса, но и свидетельство присущего ей потенциала и упорства вьетнамской технологической команды.

Используя метод «с нуля» — обучение моделей с нуля, Zalo выбрал долгий путь, но помог Вьетнаму по-настоящему освоить ИИ. Не только с точки зрения результатов, но и с точки зрения всего процесса: от архитектуры модели, данных, алгоритмов до прикладных продуктов. Успех Zalo также помог Вьетнаму стать одной из немногих стран Юго-Восточной Азии, обладающих собственной моделью магистратуры права (LLM), что является стратегическим достижением в условиях всё более жёсткой глобальной технологической конкуренции.

В предстоящем долгом пути Zalo не остановится на одной модели или нескольких продуктах, а продолжит совершенствовать её, чтобы одновременно обслуживать пользователей и создавать вьетнамскую платформу ИИ конкурентоспособного качества: «Путь развития ИИ Zalo ещё долгий. Мы продолжим оптимизировать модель как вширь, так и вглубь, одновременно продвигая её практическое применение. Конечная цель — создавать качественные продукты ИИ, которые будут служить на благо вьетнамцев», — добавил г-н Сон.

Успешная разработка Zalo программы обучения на вьетнамском языке LLM — это не только прорыв для бизнеса, но и открытие потенциального будущего для вьетнамского искусственного интеллекта. Упорство и стремление вьетнамского народа привели к достижению достойных результатов. Будущее вьетнамского искусственного интеллекта будет связано не только с Zalo, но и с поколением смелых инженеров, которые будут следовать за ним, наследовать и покорять мир технологий.

Источник: https://znews.vn/zalo-va-hanh-trinh-lam-chu-llm-tieng-viet-post1561765.html