Zalo i podróż pokonywania przeszkód w celu spełnienia krajowych aspiracji

Podczas gdy cały świat obserwuje szybki postęp w dziedzinie sztucznej inteligencji supermocarstw, zespół inżynierów technologicznych Zalo rozpoczyna ambitną podróż: opanowanie sztucznej inteligencji w języku wietnamskim.

Rozwój generatywnej sztucznej inteligencji (Generative AI) całkowicie zmienił globalny krajobraz technologiczny.

Od czasu, gdy OpenAI uruchomiło ChatGPT pod koniec 2022 r., stale pojawia się szereg podobnych modeli LLM, stosowanych w wielu dziedzinach, takich jak opieka zdrowotna, edukacja , finanse, prawo... Wyścig stał się zacięty nie tylko w skali przedsiębiorstw, ale także w skali kraju pod względem możliwości szkoleniowych, infrastruktury obliczeniowej i danych.

Duże firmy, takie jak OpenAI, Google, Meta czy Microsoft, dysponujące potencjałem finansowym i korzystnymi warunkami, „szybko” zainwestowały miliardy dolarów w tysiące zaawansowanych procesorów graficznych, takich jak Nvidia H100 – kluczowego elementu w procesie szkolenia modeli LLM. Cena akcji Nvidii gwałtownie wzrosła w tym okresie, odzwierciedlając globalne zapotrzebowanie na infrastrukturę.

Tymczasem firmy technologiczne w krajach rozwijających się, oprócz problemów z kosztami, borykają się również z ograniczeniami w imporcie i eksporcie chipów AI ze Stanów Zjednoczonych. Prowadzi to do braku sprzętu szkoleniowego i „powolniejszego” działania w porównaniu z gigantami technologicznymi. Z krajowymi aspiracjami, Zalo nie jest wyjątkiem.

Pod względem danych, wcześniejsze problemy z uczeniem maszynowym wymagały dużych ilości danych treningowych, ale w przypadku dużych modeli językowych jest to ogromna ilość danych. Aby stworzyć wystarczająco dobry model, system LLM potrzebuje dziesiątek, a nawet setek miliardów tokenów tekstu wejściowego. Tymczasem pod względem popularności język wietnamski nie dorównuje „angielskiemu” i chińskiemu. To zwielokrotniło trudności dla wietnamskich programistów LLM.

W 2023 roku duże modele językowe (LLM), takie jak GPT-3.5 i GPT-4, szturmem zdobyły świat technologii, a wiele wietnamskich przedsiębiorstw również wybrało zagraniczne, dopracowane modele, aby pójść na skróty i wyprzedzić konkurencję w procesie kształcenia LLM.

Zalo wybrał inną drogę – bardziej żmudną, ale bardziej autonomiczną: samodzielne szkolenie modelu od podstaw (model „od zera”). Drogę, która wymaga zbudowania wszystkiego od podstaw – od danych, przez architekturę modelu, po cały proces szkolenia. Decyzja ta nie miała na celu konkurowania z gigantami, ale realizację aspiracji Wietnamczyków: opanowania modelu LLM w ich ojczystym języku.

„Przewidzieliśmy trudności, a mimo to postanowiliśmy wcześnie dołączyć do gry. Nie konkurowaliśmy bezpośrednio z „wielkimi graczami”, ale wybraliśmy niszę rynkową, w której mogliśmy osiągnąć lepsze wyniki. Naszym celem jest zbudowanie modelu, nad którym Wietnamczycy będą mieli pełną kontrolę – od danych po algorytmy” – powiedział dr Nguyen Truong Son, dyrektor ds. nauki w Zalo AI.

Pomimo wielu przeszkód w trzech głównych obszarach, takich jak infrastruktura, dane i poziom szkoleń, wietnamscy inżynierowie proaktywnie znajdowali rozwiązania, aby przezwyciężyć trudności. To pokazuje ducha i siłę woli Wietnamczyków w trudnych okolicznościach, szczególnie w tym przypadku, którzy stawiali czoła wyzwaniom w procesie opracowywania programu studiów magisterskich (LLM) dla Wietnamczyków.

Aby wyszkolić inżynierów LLM, potrzebna była odpowiednia infrastruktura. Jednak w tamtych czasach procesory graficzne, takie jak Nvidia H100, były niemal „globalną rzadkością”. Tymczasem duże firmy zamawiały je w przedsprzedaży przez rok i płaciły miliony dolarów za ich posiadanie. W Wietnamie Zalo również próbowało kupić 8 serwerów DGX H100, ale nie było to łatwe, ponieważ trzeba było czekać na każdą partię dostaw od producenta.

W obliczu braku procesorów graficznych Nvidia, wietnamscy inżynierowie musieli elastycznie korzystać z konsumenckich procesorów graficznych, aby eksperymentować z każdą linijką kodu i uruchamiać każdy mały model. Zamiast czekać, inżynierowie przygotowali się proaktywnie, aby po otrzymaniu nowoczesnego sprzętu wszystko było gotowe.

Zamiast opierać się na dostępnych zasobach, Zalo zainwestowało w stworzenie wysokiej jakości magazynu danych przeznaczonego specjalnie dla języka wietnamskiego, aby zrekompensować poważne braki w porównaniu z językiem angielskim i chińskim.

Dzięki elastycznej strategii rozwoju, Zalo z powodzeniem skróciło czas rozwoju swojego modelu wielojęzykowego z oczekiwanych 18 do 6 miesięcy. Pod koniec 2023 roku, wietnamski model wielojęzykowy Zalo został oficjalnie zaprezentowany podczas wydarzenia, które zgromadziło wiodącą społeczność technologiczną i AI w Wietnamie – Zalo AI Summit. Model LLM firmy Zalo zadebiutował w ramach wyzwania Kahoot, zorganizowanego przez Tinhte.vn, i ku zaskoczeniu wszystkich przewyższył GPT 3.5, ustępując jedynie GPT4 – modelowi LLM, który w tamtym czasie był uważany za najsilniejszy na świecie.

Oparty na platformie ewaluacyjnej VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models), model Zalo jest 1,5 raza wydajniejszy niż GPT-3.5 firmy OpenAI. Do końca 2024 roku model ten prześcignie takie znane marki, jak GPT-4 (OpenAI), Gemma-2-9B (Google) czy Phi-3-small (Microsoft), plasując się jedynie za LLaMA-3-70B firmy Meta pod względem możliwości przetwarzania języka wietnamskiego w rankingach VMLU.

Zalo nie ogranicza się wyłącznie do badań, ale stopniowo wprowadza technologię z laboratorium w życie poprzez komercjalizację i popularyzację produktów aplikacyjnych LLM.

Na początku 2025 roku, asystent pytań i odpowiedzi Kiki Info – działający jako oficjalne konto na platformie Zalo – przyciągnął ponad milion użytkowników w niecałe 2 miesiące. Inna aplikacja, Thiep AI, również osiągnęła imponującą liczbę 15 milionów kart utworzonych i wysłanych w zaledwie 2 miesiące.

Podróż Zalo nie dotyczy tylko firmy, która chce rozwijać technologię. To element szerszego obrazu – Wietnam aktywnie promuje innowacje, realizując politykę wynikającą z rezolucji 57-NQ/TW dotyczącej rozwoju nauki i technologii oraz krajowej transformacji cyfrowej. W szczególności kładzie się nacisk na dziedzinę sztucznej inteligencji.

Powstanie i szybki rozwój wietnamskiego programu LLM w Zalo to nie tylko krok naprzód technologiczny dla firmy, ale także dowód wrodzonych umiejętności i wytrwałości wietnamskiego zespołu technologicznego.

Stosując technikę „od zera” – trenując modele od podstaw, Zalo wybrało dłuższą drogę, ale pomogło Wietnamowi w prawdziwym opanowaniu sztucznej inteligencji. Nie tylko pod względem rezultatów, ale także całego procesu – od architektury modelu, danych, algorytmów, po produkty aplikacyjne. Sukces Zalo pomógł również Wietnamowi stać się jednym z niewielu krajów Azji Południowo-Wschodniej posiadających krajowy model LLM – strategiczny kamień milowy w kontekście coraz bardziej zaciętej globalnej konkurencji technologicznej.

W długiej podróży, która nas czeka, Zalo nie zatrzyma się na jednym modelu czy kilku produktach, ale będzie nadal udoskonalać model, aby służyć użytkownikom i stworzyć konkurencyjną, wysokiej jakości platformę AI dla Wietnamu: „Droga rozwoju AI w Zalo jest wciąż długa. Będziemy nadal optymalizować model zarówno wszerz, jak i w głąb, jednocześnie promując praktyczne zastosowania. Ostatecznym celem jest tworzenie wysokiej jakości produktów AI, które będą praktycznie służyć Wietnamczykom” – dodał pan Son.

Sukces wietnamskiego programu studiów magisterskich (LLM) w Zalo to nie tylko przełom dla firmy, ale także otwiera potencjalną przyszłość dla wietnamskiej sztucznej inteligencji. Wytrwałość i aspiracje narodu wietnamskiego doprowadziły do ​​osiągnięcia godnych rezultatów. Przyszłość wietnamskiej sztucznej inteligencji to nie tylko „Zalo”, ale także pokolenie odważnych inżynierów, którzy będą podążać za nim, odziedziczać go i podbijać świat technologii.

Źródło: https://znews.vn/zalo-va-hanh-trinh-lam-chu-llm-tieng-viet-post1561765.html