Zalo ontwikkelt een AI-model dat eigendom is van en beheerd wordt door Vietnamese mensen.

(Dan Tri Newspaper) - Zalo, een Vietnamees bedrijf met een sterke focus op technologische ontwikkeling, heeft met succes een eigen AI-model ontwikkeld. Daarmee is Vietnam een ​​van de weinige landen in Zuidoost-Azië met een volledig vanaf nul getraind AI-model.

De wereldwijde belangstelling voor AI groeit, waarbij de meeste aandacht uitgaat naar landen met toonaangevende AI-modellen zoals de VS en China. Zuidoost-Azië – een van 's werelds belangrijkste economische regio's – ontwikkelt zich geleidelijk tot een nieuwe AI-hotspot, met aanzienlijke vooruitgang die de aandacht zou kunnen trekken van beleidsmakers, investeerders en technologie-experts wereldwijd.

Vietnam heeft een eigen AI-model ontwikkeld, een van de weinige AI-modellen die momenteel in Zuidoost-Azië volledig vanaf nul zijn ontwikkeld (Foto: Zalo).

In Vietnam zijn de Partij en de Regering vastbesloten om het tijdperk van technologische ontwikkeling vorm te geven en te bevorderen, zoals blijkt uit Resolutie 57-NQ/TW over Doorbraken in Wetenschap , Technologie, Innovatie en Nationale Digitale Transformatie. Deze oriëntatie heeft binnenlandse technologiebedrijven een sterke impuls gegeven om te investeren in en het potentieel van geavanceerde wereldwijde technologieën te benutten.

Vietnam is momenteel een van de weinige landen in Zuidoost-Azië met een eigen, grootschalig taalmodel (LLM). Zalo heeft sinds 2023 met succes een LLM-model ontwikkeld en gelanceerd dat specifiek gericht is op de Vietnamese taal. Dit model is volledig ontwikkeld en onderzocht door een team van Vietnamese ingenieurs.

Kies ervoor om helemaal vanaf nul te beginnen met trainen en de resultaten zullen verrassend zijn.

Momenteel maken AI-modellen gebruik van twee trainingstechnieken: fine-tuned modeling, waarbij eerder getrainde LLM's worden geoptimaliseerd om nieuwe LLM's voor specifieke doeleinden te creëren; en from-scratch modeling, een proces waarbij volledig nieuwe modellen worden gebouwd, van parameterinitialisatie en beslissingen over de modelarchitectuur tot het trainen van algoritmen op een gegeven dataset.

Van deze methoden kiezen veel bedrijven voor fine-tuningtechnieken vanwege hun voordelen, zoals eenvoudige implementatie, kostenbesparing en de potentie voor betere resultaten. Vooral in de context van Vietnam, waar trainingsapparatuur en data beperkt zijn, vormen fine-tuningtechnieken een superieure oplossing.

Zalo koos er echter voor om de training volledig vanaf nul op te zetten. Met deze methode is het hele trainingsproces en het model volledig in handen van en wordt beheerd door Vietnamezen. Hierdoor is Vietnam een ​​van de weinige landen in Zuidoost-Azië geworden met een in eigen land ontwikkeld grootschalig taalmodel (LLM).

Bij de lancering in 2023 behaalde Zalo's eerste grootschalige taalmodel met 7 miljard parameters, gericht op het Vietnamees, een prestatie die 150% beter was dan die van OpenAI's GPT3.5 op de Vietnamese LLM-competentietoets VMLU. De training duurde slechts 6 maanden, aanzienlijk korter dan de oorspronkelijke schatting van 18 maanden. Dit snelle trainingsproces verraste zelfs het ontwikkelingsteam van Zalo.

Het LLM-model van Zalo behaalde de 3e plaats in de Kahoot-uitdaging bij de eerste lancering in 2023 (Foto: Zalo).

In 2024 overtrof het Zalo-model met 13 miljard parameters de grote wereldwijde spelers en behaalde het de tweede plaats onder de Vietnamese LLM-modellen voor training op beginnersniveau in de Vietnamese LLM-vaardigheidsranglijst van VMLU.

De resultaten tonen aan dat het opleidingsniveau van Vietnam op het gebied van grootschalige taalmodellering vergelijkbaar is met de wereldwijde standaarden voor de ontwikkeling van een eigen AI-model, met name gezien de aanvankelijke uitdagingen bij de ontwikkeling ervan.

De inspanningen van het Vietnamese volk om AI-modellen te ontwikkelen.

Volgens een vertegenwoordiger van Zalo vereist de training voor het LLM-programma drie kernelementen: trainingsapparatuur, data en technische expertise. Vietnam kampte voorheen met aanzienlijke beperkingen op alle drie gebieden. Grote internationale bedrijven beschikten bijvoorbeeld over duizenden van de nieuwste, krachtige GPU's van Nvidia, terwijl Vietnamese ingenieurs niet over de benodigde serverinfrastructuur beschikten. Tegelijkertijd was de datapool in Vietnam aanzienlijk kleiner dan in het Engels of Chinees. Bovendien waren de menselijke hulpbronnen en de ervaring met LLM-training in Vietnam beperkt in vergelijking met ontwikkelde landen.

Het Zalo-team moest destijds onderzoek doen en experimenteren met kleine consumenten-GPU's om snel de kennis en trainingsmogelijkheden voor LLM te verwerven, zodat deze direct ingezet konden worden zodra er grootschalige computerinfrastructuur beschikbaar kwam.

AI-trainingschips zijn schaars, dus hoewel Zalo 8 Nvidia DGX H100-servers heeft besteld, kunnen ze niet alle apparaten tegelijk ontvangen en moeten ze wachten op leveringen van de fabrikant in batches. Het optimaliseren van de nog niet complete computerinfrastructuur om de trainingstijd optimaal te benutten, is daarom ook een uitdaging waar het Zalo-team een ​​oplossing voor moet vinden.

Tegelijkertijd wordt er geïnvesteerd in de ontwikkeling van hoogwaardige trainingsdata om het tekort aan Vietnamese databronnen te compenseren.

“Ondanks de aanzienlijke uitdagingen in vergelijking met grotere, wereldwijde bedrijven, heeft Zalo besloten de Vietnamese markt te betreden met als doel een eigen AI-model succesvol te ontwikkelen. We hebben overleg gepleegd met onderzoekers en ingenieurs van toonaangevende onderzoeksinstellingen wereldwijd om een ​​geschikte strategie te ontwikkelen.”

"De tot nu toe behaalde successen motiveren de ingenieurs van Zalo om het model verder te optimaliseren, zowel qua kwantiteit als kwaliteit. Tegelijkertijd benutten we de toepassingen ervan om meer AI-producten van wereldklasse te creëren voor Vietnamese gebruikers," aldus Dr. Nguyen Truong Son, directeur wetenschap bij Zalo AI.

Zalo heeft de DGX H100-server bij Nvidia besteld (Foto: Zalo).

Dankzij de flexibele aanpassingsmogelijkheden tijdens de uitdagende beginfase van de ontwikkeling heeft Zalo geleidelijk aan belangrijke mijlpalen bereikt en is het uitgegroeid tot een wereldwijde autoriteit op het gebied van AI-technologie, zoals het die nu is.

Het AI-model van Zalo is momenteel niet alleen succesvol in onderzoek en training, maar wordt ook toegepast om de toegang tot en het benutten van de waarde van geavanceerde nieuwe technologieën voor de Vietnamese bevolking te bevorderen.

Eerder dit jaar lanceerde Zalo Kiki Info, een uitgebreide vraag-en-antwoordassistent die functioneert als een officieel account (OA) op het Zalo-berichtenplatform. De assistent biedt ondersteuning bij vragen en antwoorden over diverse onderwerpen met betrekking tot het leven, contentcreatie en entertainment. Volgens de statistieken van Zalo heeft Kiki Info in minder dan twee maanden tijd 1 miljoen gebruikers gehad die toegang kregen tot het OA-account op Zalo.

Het LLM-model van Zalo werd toegepast bij de ontwikkeling van de Kiki Info Assistant (Foto: Zalo).

Een andere toepassing van Zalo's LLM-model is AI-wenskaarten, waarmee in slechts twee maanden tijd 15 miljoen kaarten werden gemaakt en verzonden. Deze toepassing heeft veel aandacht gekregen van Zalo-gebruikers die ze gebruiken om familie en vrienden te feliciteren bij belangrijke gelegenheden.

Zalo blijft momenteel de applicaties op basis van zijn uitgebreide taalmodel uitbreiden en ontwikkelen, wat naar verwachting veel nuttige voordelen zal opleveren voor binnenlandse gebruikers.

Bron: https://dantri.com.vn/cong-nghe/zalo-phat-develop-ai-do-nguoi-viet-lam-chu-20250616161352610.htm