Zalo és az akadályok leküzdésének útja a hazai törekvések meghódítása érdekében

Miközben a világ a szuperképességek mesterséges intelligencia területén tapasztalható gyors fejlődést figyeli, a Zalo technológiai mérnökcsapata ambiciózus útra indul: elsajátítani a mesterséges intelligenciát vietnami nyelven.

A generatív mesterséges intelligencia (Generatív MI) robbanásszerű térnyerése gyökeresen megváltoztatta a globális technológiai környezetet.

Amióta az OpenAI 2022 végén elindította a ChatGPT-t, folyamatosan jelent meg egy sor hasonló LLM modell, amelyeket számos területen alkalmaznak, például az egészségügyben, az oktatásban , a pénzügyekben, a jogban... A verseny kiélezetté vált, nemcsak vállalati, hanem országos szinten is a képzési kapacitás, a számítástechnikai infrastruktúra és az adatok tekintetében.

Az olyan nagyvállalatok, mint az OpenAI, a Google, a Meta vagy a Microsoft, amelyek pénzügyi potenciállal és kedvező feltételekkel rendelkeznek, mind „gyorsan” dollármilliárdokat fektettek be több ezer csúcskategóriás GPU, például az Nvidia H100 tulajdonába – amely az LLM modellek betanításának központi eleme. Az Nvidia részvényárfolyama ebben az időszakban az egekbe szökött, tükrözve a világ infrastruktúra iránti szomjúságát.

Eközben a fejlődő országok technológiai vállalatai a költségproblémák mellett korlátozásokkal is szembesülnek az amerikai mesterséges intelligencia chipberendezések importja és exportja tekintetében. Ez a képzési felszerelések hiányához és a technológiai óriásokhoz képest „lassabb” működéshez vezet. A belföldi törekvések tekintetében a Zalo sem kivétel.

Adatok tekintetében a korábbi gépi tanulási problémák nagy mennyiségű betanítási adatot igényeltek, de nagyméretű nyelvi modellek esetében ez hatalmas adatmennyiséget jelent. Egy elég jó modellhez az LLM rendszernek több tíz vagy akár több száz milliárd bemeneti szöveges tokenre van szüksége. Eközben népszerűség tekintetében a vietnami nyelv nem "egyenlő az angollal és a kínaival". Ez megsokszorozta a nehézségeket a vietnami LLM fejlesztők számára.

2023-ban a nagy nyelvi modellek (LLM), mint például a GPT-3.5 és a GPT-4, viharként söpörtek végig a technológiai világon, és számos vietnami vállalat is külföldi gyártmányú, finomhangolt modelleket választott, hogy lerövidítse az utat és előrébb jusson az LLM képzési folyamatban.

Zalo egy másik utat választott – nehezebbet, de önállóbbat: a modell önálló betanítását a nulláról (from-scratch model). Egy olyan utat, amely megköveteli, hogy mindent a nulláról építsenek fel – az adatoktól kezdve a modellarchitektúrán át a teljes betanítási folyamatig. Ez a döntés nem az óriásokkal való versenyzésről szólt, hanem a vietnami nép vágyának megvalósításáról: az LLM modell elsajátításáról az anyanyelvükön.

„Előre láttuk a nehézségeket, és mégis úgy döntöttünk, hogy korán bekapcsolódunk a játékba. Nem versenyeztünk közvetlenül a »nagyokkal«, hanem egy olyan piaci rést választottunk, ahol jobban teljesíthettünk. Célunk egy olyan modell felépítése, amelyet a vietnami emberek teljes mértékben irányítanak – az adatoktól az algoritmusokig” – osztotta meg Dr. Nguyen Truong Son, a Zalo AI tudományos igazgatója.

Annak ellenére, hogy számos akadályba ütköztek három fő tényező – köztük az infrastruktúra, az adatok és a képzettségi szint – tekintetében, a vietnami mérnökök proaktívan találtak megoldásokat a nehézségek leküzdésére. Ez jól mutatja a vietnami nép szellemiségét és akaraterejét nehéz körülmények között, különösen ebben az esetben, amikor legyőzték a kihívásokat a vietnamiak számára LLM képzés fejlesztése során.

Az LLM képzéséhez a mérnököknek megfelelő infrastruktúrára volt szükségük. De akkoriban az olyan GPU-k, mint az Nvidia H100-a, szinte „világritkaságnak” számítottak. Eközben a nagyvállalatok egy évre előre megrendelték őket, és dollármilliókat fizettek a tulajdonlásukért. Vietnámban a Zalo 8 DGX H100 szervert is megpróbált vásárolni, de ez nem volt könnyű, mivel minden egyes szállítmányra várni kellett a gyártótól.

Az Nvidia GPU-k hiányában a vietnami mérnököknek rugalmasan kellett használniuk a fogyasztói GPU-kat, hogy minden egyes kódsoron kísérletezzenek és minden egyes kis modellt lefuttassanak. A várakozás helyett a mérnökök proaktívan felkészültek, hogy mire modern felszereléssel rendelkeznek, minden készen álljon.

Ami az adatokat illeti, ahelyett, hogy a rendelkezésre álló erőforrásokra hagyatkozna, a Zalo egy kifejezetten vietnami nyelvre szabott, kiváló minőségű adattárház építésébe fektetett be, hogy pótolja az angol és kínai nyelvhez képest fennálló súlyos hiányt.

Rugalmas fejlesztési stratégiájának köszönhetően a Zalo sikeresen lerövidítette nagy nyelvi modelljének fejlesztési idejét a várt 18 hónapról 6 hónapra. 2023 végén a Zalo vietnami nagy nyelvi modelljét hivatalosan is bemutatták egy olyan eseményen, amely összegyűjtötte Vietnám vezető technológiai és mesterséges intelligencia közösségét - a Zalo AI Summit-ot. Itt a Zalo LLM modellje a Tinhte.vn által kitűzött Kahoot kihíváson keresztül debütált, és meglepő módon felülmúlta a GPT 3.5-öt, csak a GPT4 - az akkoriban a világ legerősebbnek tartott LLM modell - mögött.

A VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models) értékelő platformon alapuló Zalo modellje másfélszer erősebb, mint az OpenAI GPT-3.5-ös modellje. 2024 végére ez a modell felülmúlja majd a nagy neveket, mint a GPT-4 (OpenAI), a Gemma-2-9B (Google) vagy a Phi-3-small (Microsoft), a VMLU rangsorában a vietnami feldolgozási képesség tekintetében csak a Meta LLaMA-3-70B modellje mögött.

A Zalo nemcsak a kutatásnál áll meg, hanem fokozatosan életre kelti a laboratóriumi technológiákat az LLM alkalmazási termékeinek kereskedelmi forgalomba hozatalával és népszerűsítésével.

2025 elején a Zalo platformon hivatalos fiókként működő Kiki Info általános kérdések és válaszok asszisztens kevesebb mint 2 hónap alatt több mint 1 millió felhasználót vonzott. Egy másik alkalmazás, a Thiep AI, szintén lenyűgöző számú, mindössze 2 hónap alatt létrehozott és elküldött kártyát ért el, 15 milliót.

Zalo útja nem csupán egy technológia fejlesztésére törekvő vállalatról szól. Ez egy nagyobb kép egy része – ahol Vietnam agresszíven támogatja az innovációt az 57-NQ/TW számú határozat tudományos és technológiai fejlesztésről, valamint a nemzeti digitális átalakulásról szóló politikáival. Különösen a mesterséges intelligencia területére helyezi a hangsúlyt.

A vietnami LLM képzés megjelenése és gyors fejlődése Zalóból nemcsak technológiai előrelépés egy vállalkozás számára, hanem a vietnami technológiai csapat inherens kapacitásának és kitartásának bizonyítéka is.

A „semmiből indulás” technikájával – a modellek nulláról történő betanításával – Zalo a hosszabb utat választotta, de segített Vietnámnak valóban elsajátítani a mesterséges intelligenciát. Nemcsak az eredmények, hanem a modellarchitektúrától, az adatoktól, az algoritmusoktól az alkalmazástermékekig tartó teljes folyamat tekintetében is. Zalo sikere abban is segített Vietnámnak, hogy azon kevés délkelet-ázsiai ország közé váljon, amelyek hazai LLM modellel rendelkeznek – ami stratégiai mérföldkő az egyre élesebb globális technológiai versenyben.

Az előttünk álló hosszú úton a Zalo nemcsak egy modellnél vagy néhány terméknél fog megállni, hanem folyamatosan tökéletesíti a modellt, hogy mind a felhasználókat szolgálja, mind pedig egy versenyképes minőségű vietnami MI-platformot hozzon létre: „A Zalo MI-fejlesztési útja még hosszú. Továbbra is optimalizálni fogjuk a modellt mind szélességében, mind mélységében, miközben elősegítjük a gyakorlati alkalmazást. A végső cél az, hogy olyan minőségi MI-termékeket hozzunk létre, amelyek a gyakorlatban a vietnami embereket szolgálják” – tette hozzá Son úr.

A Zalo sikeres vietnami LLM képzése nemcsak áttörést jelent egy vállalkozás számára, hanem potenciális jövőt nyit a vietnami mesterséges intelligencia számára is. A vietnami nép kitartása és törekvése vezetett el a méltó eredményekhez vezető úton. A vietnami mesterséges intelligencia jövője nemcsak egy „Zalo” lesz, hanem egy bátor mérnökökből álló generáció is, akik követik, öröklik és meghódítják a technológia világát.

Forrás: https://znews.vn/zalo-va-hanh-trinh-lam-chu-llm-tieng-viet-post1561765.html