Een vrouwelijke ingenieur van Zalo brengt Vietnamese technologie naar 's werelds toonaangevende AI-conferentie.

Op de ACL 2025-conferentie in Wenen, Oostenrijk – 's werelds grootste evenement op het gebied van natuurlijke taalverwerking – trok onderzoek naar een toolkit voor het evalueren van Vietnamese taalmodellen, ontwikkeld door het Zalo-engineeringteam, de aandacht van vele internationale wetenschappers.

In zes jaar bij Zalo heeft Bui Thi Cuc haar passie voor kunstmatige intelligentie verder kunnen ontwikkelen. Van data scientist direct na haar afstuderen is Cuc uitgegroeid tot senior AI engineer bij Zalo, waar ze het VMLU-ontwikkelteam vertegenwoordigt en onderzoek presenteert op de ACL-conferentie (Association for Computational Linguistics) in Wenen, Oostenrijk, in de zomer van 2025.

Dit wordt beschouwd als de belangrijkste academische conferentie op het gebied van natuurlijke taalverwerking en trekt jaarlijks meer dan 2000 onderzoekers. Veel fundamentele werken over NLP zijn hier gepresenteerd voordat ze industriestandaarden werden.

"Vanaf de allereerste dag van de conferentie was ik overweldigd door de omvang en de open academische uitwisseling", herinnerde Cúc zich. De onderzoekssfeer was van 's ochtends tot 's avonds constant, met talloze posters, lange technische discussies en de aanwezigheid van laboratoria van Meta, Google, Apple en meer.

Van Vietnam naar Wenen, Oostenrijk

Het onderzoek van Bui Thi Cuc, getiteld ACL VMLU Benchmarks: A comprehensive benchmark toolkit for Vietnamese LLMs, heeft als doel het gebrek aan evaluatietools voor grootschalige Vietnamese taalmodellen aan te pakken.

VMLU, gelanceerd in november 2023 door Zalo AI en het Japan Advanced Institute of Science and Technology (JAIST), biedt een gemeenschappelijke set standaarden om ontwikkelaars van grootschalige taalmodellen (LLM's) gericht op Vietnamese gebruikers te helpen bij het evalueren en ontwikkelen van geschikte trainingsstrategieën voor hun modellen.

Mevrouw Cúc verklaarde dat de leden tijdens de ontwikkeling van VMLU met tal van uitdagingen te maken kregen, van het opstellen van benchmarks tot het waarborgen van de datakwaliteit. De meest stressvolle fase was echter het indieningsproces van het onderzoek. Het acceptatiepercentage voor onderzoek bij ACL ligt slechts rond de 25%, en ze moesten concurreren met veel grote AI-onderzoeksinstituten wereldwijd .

“Toen we de resultaten op het niveau van de Borderline Conference ontvingen – wat betekende dat de bevindingen werden geaccepteerd – was het hele team blijer dan verwacht. Daarna verzamelde ik alle feedback van het beoordelingspanel, besprak die met mijn directe leidinggevende en overtuigde de beoordelaars uiteindelijk om de score te verhogen, zodat het onderzoeksartikel op de hoofdconferentie zou worden geaccepteerd,” herinnerde Cúc zich.

Dit is de eerste benchmark die is ontworpen om het vermogen tot Vietnamees taalbegrip van grote taalmodellen te beoordelen. De benchmark omvat vier datasets met 17.000 vragen om vaardigheden te evalueren op het gebied van: algemene kennis, leesbegrip, redeneren en dialoog.

De heer Nguyen Truong Son, directeur wetenschap bij Zalo AI, bevestigde: "Het VMLU-evaluatiesysteem biedt een gemeenschappelijke maatstaf voor het evalueren van grootschalige Vietnamese taalmodellen. Na de publicatie ontvingen we veel positieve feedback van de AI-onderzoeksgemeenschap, zowel nationaal als internationaal. Ik verwacht dat VMLU in de toekomst een veelgebruikte en toegepaste evaluatiestandaard zal worden, niet alleen in de academische wereld, maar ook in bedrijven die AI-producten ontwikkelen."

AI toepassen op de producten van Zalo.

Naast de academische waarde heeft VMLU veel potentiële toepassingen in de ontwikkeling van AI-producten bij Zalo.

Volgens Cúc helpt de benchmark allereerst bij het evalueren van de nauwkeurigheid en het taalbegrip van de modellen die worden gebruikt in het Kiki Info-product, een digitale burgerassistent. Dit stelt het team in staat om de beperkingen van het model op specifieke gebieden te identificeren.

Ten tweede wordt VMLU gebruikt als testtool voordat nieuwe AI-functies worden geïmplementeerd, zoals berichtsamenvatting, automatische antwoordsuggesties of klantenservice.

Uiteindelijk helpt VMLU, met zijn mogelijkheden voor conversatie-evaluatie, Zalo bij het ontwikkelen van zakelijke chatbots met een natuurlijke communicatie die aansluit bij de Vietnamese communicatiecultuur.

"Ons grootste doel is het creëren van AI-modellen die Vietnamees op een natuurlijke en accurate manier begrijpen," aldus Cúc.

De jonge ingenieur keert terug uit Wenen en hoopt dat VMLU zich verder zal ontwikkelen en een platform zal worden waar veel binnenlandse onderzoeksgroepen modellen op een uniforme manier kunnen vergelijken en evalueren.

"Ik hoop dat deze dataset het startpunt zal zijn voor de Vietnamese AI-gemeenschap om zich de komende jaren verder te ontwikkelen. We willen een kleine bijdrage leveren aan het ervoor zorgen dat Vietnamees een taal wordt die wereldwijde AI-modellen correct begrijpen en effectief verwerken."

De Zalo AI Summit 2025, met als thema "Vietnam in het tijdperk van AI-ificatie", vindt plaats op zaterdag 20 december 2025 om 8:00 uur 's ochtends op de VNG Campus in de exportverwerkingszone Tan Thuan in Ho Chi Minh-stad.
Het evenement wordt live uitgezonden op de officiële informatiekanalen van Zalo en er worden meer dan 400 AI-ingenieurs verwacht.
Registreer je om deel te nemen via: https://summit.zalo.ai/

Bich Dao

Bron: https://vietnamnet.vn/nu-ky-su-zalo-dua-cong-nghe-viet-toi-hoi-thao-ai-hang-dau-the-gioi-2471254.html