Zalo ontwikkelt AI-model van Vietnamese burgers

(Dan Tri) - Zalo is een Vietnamees bedrijf met een sterke focus op technologieontwikkeling en heeft met succes een eigen AI-model ontwikkeld. Daarmee is Vietnam een ​​van de weinige landen in Zuidoost-Azië met een AI-model dat vanaf nul is ontwikkeld.

De wereldwijde belangstelling voor AI groeit, waarbij de meeste aandacht uitgaat naar landen met veel van 's werelds toonaangevende AI-modellen, zoals de VS en China. Zuidoost-Azië – een van 's werelds belangrijkste economische regio's – ontwikkelt zich geleidelijk aan tot een nieuwe hotspot voor AI, met grote ontwikkelingen die wereldwijd beleidsmakers, investeerders en technologie-experts zouden kunnen interesseren.

Vietnam beschikt al over een eigen AI-model, een van de weinige AI-modellen in de regio Zuidoost-Azië die op dit moment vanaf nul is ontwikkeld (foto: Zalo).

In Vietnam zijn de partij en de regering vastbesloten om het tijdperk van technologische ontwikkeling van het land vorm te geven en te bevorderen, zoals blijkt uit Resolutie 57-NQ/TW over Doorbraken in wetenschap en technologische ontwikkeling, innovatie en nationale digitale transformatie. Deze oriëntatie heeft een sterke drijfveer gecreëerd voor binnenlandse technologiebedrijven om te investeren in en het potentieel van geavanceerde wereldwijde technologie te benutten.

Momenteel is Vietnam een ​​van de weinige landen in Zuidoost-Azië met een eigen LLM (Large Language Model). Concreet heeft Zalo sinds 2023 met succes een LLM-model ontwikkeld en getraind dat zich richt op het Vietnamees. Dit model is volledig onderzocht en ontwikkeld door een team van Vietnamese ingenieurs.

Kies voor training vanaf het begin en krijg onverwachte resultaten

Momenteel worden er voor AI-modellen twee trainingstechnieken gebruikt: de fine-tuned model-techniek is de methode om eerder getrainde LLM's te optimaliseren om nieuwe LLM's te creëren voor gespecialiseerde doeleinden; de from-scratch model-trainingstechniek is het proces van het bouwen van een geheel nieuw model, van parameterinitialisatie en het bepalen van de modelarchitectuur tot het trainen van het algoritme op een specifieke dataset.

Veel bedrijven kiezen voor finetuningtechnieken vanwege hun voordelen, zoals eenvoudige implementatie, besparing van middelen en een hogere efficiëntie. Vooral in de context van Vietnam, waar trainingsapparatuur en data beperkt zijn, zijn finetuningtechnieken een betere oplossing.

Zalo koos echter vanaf het begin voor de trainingstechniek. Met deze methode zijn het hele trainingsproces en -model volledig in handen van de Vietnamezen. Daardoor is Vietnam een ​​van de weinige landen in Zuidoost-Azië met een groot taalmodel (LLM) dat in eigen land is ontwikkeld.

Bij de lancering in 2023 behaalde Zalo's eerste grootschalige taalmodel met 7 miljard parameters gericht op het Vietnamees een prestatie van 150% vergeleken met OpenAI's GPT3.5 op de VMLU Vietnamese LLM Competency Assessment Benchmark. De trainingstijd duurde slechts 6 maanden, veel korter dan de oorspronkelijke planning van 18 maanden. Dit snelle trainingsproces verraste het hele ontwikkelteam van Zalo.

Het LLM-model van Zalo eindigde bij de eerste lancering in 2023 op de derde plaats in de Kahoot-uitdaging (foto: Zalo).

In 2024 zal Zalo's model met 13 miljard parameters de grote namen ter wereld overtreffen en zijn positie als een van de twee beste Vietnamese LLM-modellen, die vanaf nul zijn opgeleid op basis van de Vietnamese LLM-competentieranglijst van VMLU, bevestigen.

Uit de resultaten blijkt dat het niveau van de training van grote taalmodellen niet onderdoet voor dat van de rest van de wereld om een ​​eigen AI-model van Vietnam te ontwikkelen, vooral in de context van de moeilijkheden bij de initiële ontwikkeling.

Vietnamese inspanningen om AI-modellen te ontwikkelen

Vertegenwoordiger Zalo zei dat een LLM-opleiding drie kernelementen vereist: trainingsapparatuur, data en technisch niveau. Voorheen waren er in Vietnam nog veel beperkingen op alle drie de vlakken. Terwijl grote bedrijven wereldwijd duizenden van de nieuwste high-performance GPU's van Nvidia bezitten, beschikken technici in Vietnam nog steeds niet over de benodigde serverinfrastructuur. Tegelijkertijd behoren Vietnamezen ook tot de groep met mindere databronnen dan Engelstalige of Chinese. De ervaring met human resources en LLM-opleidingen in Vietnam is ook beperkt in vergelijking met ontwikkelde landen.

Het Zalo-team moest destijds onderzoek doen en experimenteren met kleine civiele GPU's om zichzelf te voorzien van kennis en LLM-trainingsmogelijkheden, klaar voor gebruik zodra een grote computerinfrastructuur beschikbaar was.

AI-trainingschips zijn schaars, dus hoewel Zalo acht Nvidia DGX H100-servers heeft besteld, kan het niet alle apparaten tegelijk in bezit krijgen en moet het wachten op elke levering van de fabrikant. Het optimaliseren van de onvolledige computerinfrastructuur om trainingstijd te besparen, is daarom ook een probleem dat het Zalo-team moet oplossen.

Tegelijkertijd wordt er geïnvesteerd in kwalitatief hoogwaardige trainingsgegevens om het tekort aan Vietnamese gegevensbronnen te compenseren.

Hoewel de start moeilijk was in vergelijking met grote bedrijven wereldwijd, besloot Zalo toch mee te doen aan de race met als doel om Vietnams eigen AI-model succesvol te ontwikkelen. We hebben overlegd met onderzoekers en ingenieurs van vele toonaangevende onderzoeksinstituten wereldwijd om een ​​geschikte ontwikkelingsstrategie te vinden.

"De huidige mijlpalen in het succes vormen de motivatie voor Zalo-ingenieurs om het model te blijven optimaliseren om het in kwantiteit en kwaliteit te verbeteren. Tegelijkertijd benutten we de toepasbaarheid om vele AI-producten van wereldklasse te creëren voor Vietnamese gebruikers", aldus Dr. Nguyen Truong Son, directeur wetenschap bij Zalo AI.

DGX H100-server die Zalo bij Nvidia heeft besteld (Foto: Zalo).

Dankzij flexibele aanpassing in de moeilijke beginfasen van de ontwikkeling heeft Zalo gaandeweg succesvolle mijlpalen bereikt en is het bedrijf zich steeds meer gaan richten op de wereldwijde AI-technologie zoals die vandaag de dag bestaat.

Momenteel is Zalo's AI-model niet alleen succesvol op het gebied van opleidingsonderzoek, maar wordt het ook toegepast, waardoor de toegang tot en het gebruik van de waarde van geavanceerde nieuwe technologie voor de Vietnamese bevolking wordt bevorderd.

Eerder dit jaar lanceerde Zalo de Kiki Info Q&A Assistant, die als een OA (Officieel Account) op het Zalo-berichtenplatform wordt gebruikt. De assistent ondersteunt vragen en antwoorden over diverse onderwerpen in het leven, contentcreatie en entertainment. Volgens statistieken van Zalo heeft de Kiki Info Assistant in minder dan twee maanden tijd tot wel 1 miljoen gebruikers toegang gegeven tot het OA-account op Zalo.

Het LLM-model van Zalo wordt toegepast bij de ontwikkeling van Kiki Info Assistant (foto: Zalo).

Een andere toepassing van Zalo's LLM-model zijn AI-kaarten, die ook de mijlpaal van 15 miljoen gecreëerde en verzonden kaarten in slechts twee maanden bereikten. Veel Zalo-gebruikers zijn geïnteresseerd in deze applicatie om familie en vrienden te feliciteren met belangrijke feestdagen.

Momenteel werkt Zalo nog steeds aan de uitbreiding en ontwikkeling van applicaties uit grote taalmodellen, die in de toekomst veel nuttige waarde voor particuliere gebruikers zullen opleveren.

Bron: https://dantri.com.vn/cong-nghe/zalo-phat-trien-mo-hinh-ai-do-nguoi-viet-lam-chu-20250616161352610.htm