Zalo și călătoria depășirii obstacolelor pentru a cuceri aspirațiile domestice

În timp ce lumea urmărește progresul rapid în domeniul inteligenței artificiale a superputerilor, echipa de inginerie tehnologică Zalo începe o călătorie ambițioasă: Stăpânirea inteligenței artificiale în limba vietnameză.

Explozia inteligenței artificiale generative (IA Generativă) a schimbat complet peisajul tehnologic global.

De când OpenAI a lansat ChatGPT la sfârșitul anului 2022, o serie de modele LLM similare au apărut continuu, aplicate în multe domenii precum sănătatea, educația , finanțele, dreptul... Cursa a devenit acerbă, nu doar la scară întreprindere, ci și la scară națională în ceea ce privește capacitatea de formare, infrastructura de calcul și datele.

Companii mari precum OpenAI, Google, Meta sau Microsoft, cu potențial financiar și condiții favorabile, au investit „rapid” miliarde de dolari pentru a deține mii de GPU-uri de ultimă generație, precum Nvidia H100 - factorul principal pentru antrenarea modelelor LLM. Prețul acțiunilor Nvidia a crescut vertiginos în acea perioadă, reflectând setea lumii pentru infrastructură.

Între timp, companiile de tehnologie din țările în curs de dezvoltare, pe lângă problemele legate de costuri, se confruntă și cu restricții privind importul și exportul de echipamente cu cipuri de inteligență artificială din SUA. Acest lucru duce la o lipsă de echipamente de instruire și la o creștere „lentă” în comparație cu giganții tehnologici. Având aspirații interne, Zalo nu face excepție.

În ceea ce privește datele, problemele anterioare de învățare automată necesitau cantități mari de date de antrenament, dar pentru modele lingvistice mari, aceasta este o cantitate imensă de date. Pentru a avea un model suficient de bun, sistemul LLM necesită zeci sau chiar sute de miliarde de token-uri de text de intrare. Între timp, în ceea ce privește popularitatea, limba vietnameză nu este „la egalitate” cu engleza și chineza. Acest lucru a multiplicat dificultatea pentru dezvoltatorii vietnamezi LLM.

În 2023, modelele lingvistice mari (LLM), cum ar fi GPT-3.5 și GPT-4, au luat cu asalt lumea tehnologiei, iar multe întreprinderi vietnameze au ales, de asemenea, modele fin rafinate fabricate în străinătate pentru a o lua pe scurtături și a avansa în procesul de formare LLM.

Zalo a ales o cale diferită - mai dificilă, dar mai autonomă: Auto-instruirea modelului de la zero (model de la zero). O cale care necesită ca totul să fie construit de la zero - de la date, arhitectura modelului până la întregul proces de instruire. Această decizie nu a fost luată pentru a concura cu giganții, ci pentru a realiza aspirația poporului vietnamez: stăpânirea modelului LLM în limba lor maternă.

„Am anticipat dificultățile și totuși am decis să ne alăturăm jocului devreme. Nu am concurat direct cu «greii», ci am ales o nișă de piață unde puteam face mai bine. Aspirația noastră este să construim un model pe care poporul vietnamez să îl controleze complet - de la date la algoritmi”, a declarat Dr. Nguyen Truong Son, director științific la Zalo AI.

În ciuda numeroaselor obstacole legate de trei factori principali, inclusiv infrastructura, datele și nivelul de pregătire, inginerii vietnamezi au găsit în mod proactiv soluții pentru a depăși dificultățile. Acest lucru demonstrează spiritul și voința poporului vietnamez în circumstanțe dificile, în special în acest caz, depășind provocările din procesul de dezvoltare a unui program de masterat în drept (LLM) pentru vietnamezi.

Pentru a instrui inginerii în domeniul dreptului de masterat (LLM), aceștia aveau nevoie de infrastructura potrivită. Însă, la acea vreme, GPU-urile precum H100 de la Nvidia erau aproape „rarități globale”. Între timp, marile companii le precomandaseră pentru un an și plătiseră milioane de dolari pentru a le deține. În Vietnam, Zalo a încercat, de asemenea, să cumpere 8 servere DGX H100, dar nu a fost ușor, fiind nevoiți să aștepte fiecare lot de livrări de la producător.

În absența GPU-urilor Nvidia, inginerii vietnamezi au fost nevoiți să utilizeze în mod flexibil GPU-uri pentru consumatori pentru a experimenta pe fiecare linie de cod și a rula fiecare model mic. În loc să aștepte, inginerii s-au pregătit proactiv, astfel încât, atunci când vor avea echipamente moderne, totul să fie gata.

În ceea ce privește datele, în loc să se bazeze pe resursele disponibile, Zalo a investit în construirea unui depozit de date de înaltă calitate special pentru limba vietnameză, pentru a compensa deficitul grav în comparație cu limba engleză și chineză.

Datorită strategiei sale flexibile de dezvoltare, Zalo a reușit să scurteze timpul de dezvoltare al modelului său lingvistic extins de la 18 luni, cât era așteptat, la 6 luni. La sfârșitul anului 2023, modelul lingvistic extins vietnamez al Zalo a fost lansat oficial la un eveniment care a reunit comunitatea lider în tehnologie și inteligență artificială din Vietnam - Zalo AI Summit. Aici, modelul LLM al Zalo și-a făcut debutul prin provocarea Kahoot lansată de Tinhte.vn și a depășit în mod surprinzător GPT 3.5, fiind depășit doar de GPT4 - modelul LLM considerat cel mai puternic din lume la acea vreme.

Bazat pe platforma de evaluare VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models), modelul lui Zalo este de 1,5 ori mai puternic decât GPT-3.5 de la OpenAI. Până la sfârșitul anului 2024, acest model va depăși nume mari precum GPT-4 (OpenAI), Gemma-2-9B (Google) sau Phi-3-small (Microsoft), fiind plasat doar în urma lui LLaMA-3-70B de la Meta în ceea ce privește capacitatea de procesare a limbii vietnameze în clasamentele VMLU.

Zalo nu se oprește doar la cercetare, ci aduce treptat tehnologia din laborator la viață prin comercializarea și popularizarea produselor aplicative de la LLM.

La începutul anului 2025, asistentul general de întrebări și răspunsuri Kiki Info - operat ca un cont oficial pe platforma Zalo - a atras peste 1 milion de utilizatori în mai puțin de 2 luni. O altă aplicație, Thiep AI, a atins și ea un număr impresionant de 15 milioane de carduri create și trimise în doar 2 luni.

Călătoria lui Zalo nu se rezumă doar la o companie care dorește să dezvolte tehnologie. Este o parte a imaginii de ansamblu - în care Vietnamul promovează agresiv inovația, cu politici din Rezoluția 57-NQ/TW privind dezvoltarea științei și tehnologiei și transformarea digitală națională. În special, se pune accent pe domeniul inteligenței artificiale.

Apariția și dezvoltarea rapidă a programului de masterat în drept vietnamez de la Zalo nu reprezintă doar un pas tehnologic înainte pentru o afacere, ci și o dovadă a capacității inerente și a perseverenței echipei tehnologice vietnameze.

Cu tehnica „de la zero” - antrenarea modelelor de la zero, Zalo a ales calea lungă, dar a ajutat Vietnamul să stăpânească cu adevărat inteligența artificială. Nu doar în ceea ce privește rezultatele, ci și în ceea ce privește întregul proces, de la arhitectura modelului, date, algoritmi, până la produsele aplicației. Succesul Zalo a ajutat, de asemenea, Vietnamul să devină una dintre puținele țări din Asia de Sud-Est care dețin un model LLM intern - o piatră de hotar strategică în contextul concurenței tehnologice globale din ce în ce mai acerbe.

În lunga călătorie care o așteaptă, Zalo nu se va opri doar la un model sau la câteva produse, ci va continua să perfecționeze modelul atât pentru a servi utilizatorii, cât și pentru a crea o platformă vietnameză de inteligență artificială cu o calitate competitivă: „Călătoria Zalo în dezvoltarea inteligenței artificiale este încă lungă. Vom continua să optimizăm modelul atât în ​​amploare, cât și în profunzime, promovând în același timp aplicații practice. Scopul final este de a crea produse de inteligență artificială de calitate care să servească practic poporului vietnamez”, a adăugat dl. Son.

Dezvoltarea cu succes a programului de masterat în masterat (LLM) în Vietnam de către Zalo nu este doar o descoperire importantă pentru o afacere, ci deschide și un viitor potențial pentru inteligența artificială vietnameză. Perseverența și aspirațiile poporului vietnamez au condus la atingerea unor rezultate demne de luat în seamă. Viitorul inteligenței artificiale vietnameze nu va avea doar un „Zalo”, ci și o generație de ingineri curajoși care să urmeze, să moștenească și să cucerească lumea tehnologiei.

Sursă: https://znews.vn/zalo-va-hanh-trinh-lam-chu-llm-tieng-viet-post1561765.html