Зало та шлях подолання перешкод для досягнення домашніх прагнень

У той час, як світ спостерігає за стрімким прогресом у галузі штучного інтелекту наддержав, команда технологічних інженерів Zalo розпочинає амбітну подорож: опанування штучного інтелекту в'єтнамською мовою.

Вибух генеративного штучного інтелекту (Generative AI) повністю змінив світовий технологічний ландшафт.

З моменту запуску ChatGPT компанією OpenAI наприкінці 2022 року постійно з'являлася низка подібних моделей LLM, що застосовуються в багатьох галузях, таких як охорона здоров'я, освіта , фінанси, юриспруденція... Гонка стала запеклою не лише на рівні підприємства, але й на національному рівні з точки зору навчальних потужностей, обчислювальної інфраструктури та даних.

Великі компанії, такі як OpenAI, Google, Meta або Microsoft, з фінансовим потенціалом та сприятливими умовами, «швидко» інвестували мільярди доларів у володіння тисячами високоякісних графічних процесорів, таких як Nvidia H100 – ключового фактора для навчання моделей LLM. Ціна акцій Nvidia різко зросла протягом цього періоду, відображаючи спрагу світу до інфраструктури.

Тим часом, технологічні компанії в країнах, що розвиваються, окрім проблем з витратами, також стикаються з обмеженнями на імпорт та експорт обладнання для чипів штучного інтелекту зі США. Це призводить до браку навчального обладнання та «повільнішого» розвитку порівняно з технологічними гігантами. Щодо внутрішніх прагнень, Zalo не є винятком.

Що стосується даних, попередні задачі машинного навчання вимагали великої кількості навчальних даних, але для великих мовних моделей це величезна кількість даних. Щоб мати достатньо хорошу модель, системі LLM потрібні десятки або навіть сотні мільярдів вхідних текстових токенів. Тим часом за популярністю в'єтнамська мова не «нарівні» з англійською та китайською. Це помножило труднощі для в'єтнамських розробників LLM.

У 2023 році великі мовні моделі (LLM), такі як GPT-3.5, GPT-4, захопили світ технологій, і багато в'єтнамських підприємств також обрали вдосконалені моделі іноземного виробництва, щоб скоротити шлях та просунутися в процесі навчання LLM.

Zalo обрав інший шлях – більш складний, але більш автономний: самостійне навчання моделі з нуля (модель з нуля). Шлях, який вимагає, щоб усе було побудовано з нуля – від даних, архітектури моделі до всього процесу навчання. Це рішення було прийнято не для того, щоб конкурувати з гігантами, а для того, щоб реалізувати прагнення в'єтнамського народу: опанувати модель LLM рідною мовою.

«Ми передбачали труднощі та все ж вирішили долучитися до гри на ранній стадії. Ми не конкурували безпосередньо з «великими хлопцями», а обрали нішевий ринок, де могли досягти кращих результатів. Наше прагнення — створити модель, яку в’єтнамський народ повністю контролюватиме — від даних до алгоритмів», — поділився доктор Нгуєн Труонг Сон, директор з науки в Zalo AI.

Незважаючи на численні перешкоди, пов'язані з трьома основними факторами, включаючи інфраструктуру, дані та рівень навчання, в'єтнамські інженери проактивно знайшли рішення для подолання труднощів. Це демонструє дух та силу волі в'єтнамського народу у складних обставинах, зокрема в цьому випадку, долаючи труднощі в процесі розробки магістратури з права (LLM) для в'єтнамців.

Для навчання магістра права (LLM) інженерам потрібна була відповідна інфраструктура. Але на той час графічні процесори, такі як Nvidia H100, були майже «світовою рідкістю». Тим часом великі компанії попередньо замовили їх на рік і заплатили мільйони доларів за їх володіння. У В'єтнамі Zalo також намагалася купити 8 серверів DGX H100, але це було непросто, оскільки доводилося чекати на кожну партію поставок від виробника.

За відсутності графічних процесорів Nvidia в'єтнамським інженерам довелося гнучко використовувати споживчі графічні процесори для експериментів з кожним рядком коду та запуску кожної невеликої моделі. Замість того, щоб чекати, інженери проактивно готувалися, щоб, коли у них з'явиться сучасне обладнання, все було готове.

Що стосується даних, то замість того, щоб покладатися на доступні ресурси, Zalo інвестувала у створення високоякісного сховища даних спеціально для в'єтнамської мови, щоб компенсувати серйозний дефіцит порівняно з англійською та китайською.

Завдяки гнучкій стратегії розробки, Zalo успішно скоротила час розробки своєї великої мовної моделі з очікуваних 18 місяців до 6 місяців. Наприкінці 2023 року в'єтнамська велика мовна модель Zalo була офіційно запущена на заході, який зібрав провідну спільноту технологій та штучного інтелекту у В'єтнамі - Zalo AI Summit. Тут модель LLM Zalo дебютувала завдяки виклику Kahoot, поставленому Tinhte.vn, і несподівано перевершила GPT 3.5, поступившись лише GPT4 - моделі LLM, яка на той час вважалася найсильнішою у світі.

Заснована на оціночній платформі VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models), модель Zalo у 1,5 раза потужніша за GPT-3.5 від OpenAI. До кінця 2024 року ця модель перевершить такі відомі компанії, як GPT-4 (OpenAI), Gemma-2-9B (Google) або Phi-3-small (Microsoft), поступаючись лише LLaMA-3-70B від Meta за рівнем обчислювальної здатності в'єтнамських програм у рейтингу VMLU.

Zalo не лише зупиняється на дослідженнях, але й поступово втілює технології з лабораторії в життя, комерціалізуючи та популяризуючи прикладні продукти LLM.

На початку 2025 року загальний помічник із питань та відповідей Kiki Info, який працював як офіційний обліковий запис на платформі Zalo, залучив понад 1 мільйон користувачів менш ніж за 2 місяці. Інший застосунок, Thiep AI, також досяг вражаючої кількості в 15 мільйонів створених та надісланих листівок лише за 2 місяці.

Шлях Зало — це не просто компанія, яка хоче розвивати технології. Це частина ширшої картини — де В'єтнам агресивно просуває інновації, дотримуючись політики, викладеної в Резолюції 57-NQ/TW, щодо розвитку науки і технологій та національної цифрової трансформації. Зокрема, акцент робиться на сфері штучного інтелекту.

Поява та швидкий розвиток в'єтнамської програми LLM від Zalo є не лише технологічним кроком вперед для бізнесу, але й свідченням притаманного потенціалу та наполегливості в'єтнамської технологічної команди.

Завдяки методиці «з нуля» – навчанню моделей з нуля, Zalo обрав довгий шлях, але допоміг В'єтнаму по-справжньому опанувати штучний інтелект. Не лише з точки зору результатів, але й з точки зору всього процесу – від архітектури моделі, даних, алгоритмів до прикладних продуктів. Успіх Zalo також допоміг В'єтнаму стати однією з небагатьох країн Південно-Східної Азії, яка володіє вітчизняною моделлю LLM – стратегічна віха в контексті дедалі жорсткішої глобальної технологічної конкуренції.

На довгому шляху Zalo не зупиниться лише на одній моделі чи кількох продуктах, а й продовжить удосконалювати модель, щоб обслуговувати користувачів та створювати в'єтнамську платформу штучного інтелекту конкурентоспроможної якості: «Шлях Zalo до розробки штучного інтелекту все ще довгий. Ми продовжуватимемо оптимізувати модель як ширше, так і глибше, одночасно сприяючи практичному застосуванню. Кінцева мета — створювати якісні продукти штучного інтелекту, які практично служитимуть в'єтнамському народу», — додав пан Сон.

Успішний розвиток Zalo в'єтнамського магістра права (LLM) є не лише проривом для бізнесу, але й відкриває потенційне майбутнє для в'єтнамського штучного інтелекту. Наполегливість та прагнення в'єтнамського народу призвели до досягнення гідних результатів. Майбутнє в'єтнамського штучного інтелекту матиме не лише «Zalo», а й покоління сміливих інженерів, які наслідуватимуть, успадкують та підкорять світ технологій.

Джерело: https://znews.vn/zalo-va-hanh-trinh-lam-chu-llm-tieng-viet-post1561765.html