Een vrouwelijke ingenieur van Zalo brengt Vietnamese technologie naar 's werelds toonaangevende AI-conferentie.

Op de ACL 2025-conferentie in Wenen, Oostenrijk – 's werelds grootste evenement op het gebied van natuurlijke taalverwerking – trok onderzoek naar een toolkit voor het evalueren van Vietnamese taalmodellen, ontwikkeld door het Zalo-engineeringteam, de aandacht van vele internationale wetenschappers.

In zes jaar bij Zalo heeft Bui Thi Cuc haar passie voor kunstmatige intelligentie verder kunnen ontwikkelen. Van een baan in data science direct na haar afstuderen is Cuc uitgegroeid tot senior AI-engineer bij Zalo, waar ze het VMLU-ontwikkelteam vertegenwoordigt en onderzoek presenteert op de ACL-conferentie (Association for Computational Linguistics) in Wenen, Oostenrijk, in de zomer van 2025.

Dit wordt beschouwd als de belangrijkste academische conferentie op het gebied van natuurlijke taalverwerking en trekt jaarlijks meer dan 2000 onderzoekers. Veel fundamentele werken over NLP zijn hier gepresenteerd voordat ze industriestandaarden werden.

"Vanaf de allereerste dag van de conferentie was ik overweldigd door de omvang en de open academische uitwisseling", herinnerde Cúc zich. De onderzoekssfeer was van 's ochtends tot 's avonds constant, met talloze posters, lange technische discussies en de aanwezigheid van laboratoria van Meta, Google, Apple en meer.

Van Vietnam naar Wenen, Oostenrijk

Het onderzoeksartikel van Bui Thi Cuc, getiteld "ACL VMLU Benchmarks: A comprehensive benchmark toolkit for Vietnamese LLMs", heeft tot doel het gebrek aan evaluatietools voor grootschalige Vietnamese taalmodellen aan te pakken.

VMLU, gelanceerd in november 2023 door Zalo AI en het Japan Advanced Institute of Science and Technology (JAIST), biedt een gemeenschappelijke set standaarden om ontwikkelaars van grootschalige taalmodellen (LLM's) gericht op Vietnamese gebruikers te helpen bij het evalueren en ontwikkelen van geschikte trainingsstrategieën voor hun modellen.

Bui Cuc verklaarde dat de leden tijdens de ontwikkeling van VMLU met tal van uitdagingen te maken kregen, van het opstellen van benchmarks tot het waarborgen van de datakwaliteit. De meest stressvolle fase was echter het indieningsproces van het onderzoek. Het acceptatiepercentage voor onderzoek bij ACL ligt slechts rond de 25%, en ze moesten concurreren met veel grote AI-onderzoeksinstituten wereldwijd .

“Toen we de resultaten op het niveau van de Borderline Conference ontvingen – wat betekende dat de bevindingen werden geaccepteerd – was het hele team blijer dan verwacht. Daarna verzamelde ik alle feedback van het beoordelingspanel, besprak die met mijn directe leidinggevende en overtuigde de beoordelaars uiteindelijk om de score te verhogen, zodat het onderzoeksartikel op de hoofdconferentie zou worden geaccepteerd,” herinnerde Cúc zich.

Mevrouw Bui Thi Cuc, namens het VMLU-ontwikkelingsteam, presenteerde het onderzoeksproject op de ACL-conferentie.

Dit is de eerste benchmark die is ontworpen om het vermogen tot Vietnamees taalbegrip van grote taalmodellen te beoordelen. De benchmark omvat vier datasets met 17.000 vragen om vaardigheden te evalueren op het gebied van: algemene kennis, leesbegrip, redeneren en dialoog.

Volgens de ingenieurs van Zalo zijn de meeste huidige benchmarks ontworpen voor het Engels, wat de syntactische, semantische en culturele context van het Vietnamees niet volledig weerspiegelt. Het rechtstreeks vertalen van Engelse vragenlijsten naar het Vietnamees leidt vaak tot onnauwkeurigheden of verlies van semantische nuances.

Om het LLM-beoordelingskader in eenvoudige termen uit te leggen, kun je AI zien als een student die een examen moet afleggen om zijn of haar vaardigheden te testen. De meeste examens zijn momenteel in het Engels, maar het Zalo AI-team wilde een examen in het Vietnamees ontwikkelen om te testen of de AI het Vietnamees echt goed begrijpt en gebruikt.

De heer Nguyen Truong Son, directeur wetenschap bij Zalo AI, bevestigde: "Het VMLU-evaluatiesysteem biedt een gemeenschappelijke maatstaf voor het evalueren van grootschalige Vietnamese taalmodellen. Na de publicatie ontvingen we veel positieve feedback van de AI-onderzoeksgemeenschap, zowel nationaal als internationaal. Ik verwacht dat VMLU in de toekomst een veelgebruikte en toegepaste evaluatiestandaard zal worden, niet alleen in de academische wereld, maar ook in bedrijven die AI-producten ontwikkelen."

AI toepassen op de producten van Zalo.

Naast de academische waarde heeft VMLU veel potentiële toepassingen in de ontwikkeling van AI-producten bij Zalo.

Volgens Cúc helpt de benchmark allereerst bij het evalueren van de nauwkeurigheid en het taalbegrip van de modellen die worden gebruikt in het Kiki Info-product, een digitale burgerassistent. Dit stelt het team in staat om de beperkingen van het model op specifieke gebieden te identificeren.

Ten tweede wordt VMLU gebruikt als testtool voordat nieuwe AI-functies worden geïmplementeerd, zoals berichtsamenvatting, automatische antwoordsuggesties of klantenservice.

Uiteindelijk helpt VMLU, met zijn mogelijkheden voor conversatie-evaluatie, Zalo bij het ontwikkelen van zakelijke chatbots met een natuurlijke communicatie die aansluit bij de Vietnamese communicatiecultuur.

"Ons grootste doel is het creëren van AI-modellen die Vietnamees op een natuurlijke en accurate manier begrijpen," aldus Cúc.

De jonge vrouwelijke ingenieur hoopt dat VMLU verder zal groeien.

De jonge ingenieur keert terug uit Wenen en hoopt dat VMLU zich verder zal ontwikkelen en een platform zal worden waar veel binnenlandse onderzoeksgroepen modellen op een uniforme manier kunnen vergelijken en evalueren.

"Ik hoop dat deze dataset het startpunt zal zijn voor de Vietnamese AI-gemeenschap om zich de komende jaren verder te ontwikkelen. We willen een kleine bijdrage leveren aan het ervoor zorgen dat Vietnamees een taal wordt die wereldwijde AI-modellen correct begrijpen en effectief verwerken."

De leden van het Zalo AI-team.

Bron: https://znews.vn/nu-ky-su-zalo-dua-cong-nghe-viet-toi-hoi-thao-ai-hang-dau-the-gioi-post1610072.html