Zalos kvinnliga ingenjör tar med sig vietnamesisk teknologi till världens ledande AI-konferens.

Sex år på Zalo har gett Bui Thi Cuc möjlighet att vidareutveckla sin passion för artificiell intelligens. Från ett jobb inom data science direkt efter examen har Cuc blivit senior AI-ingenjör på Zalo, där hon representerar VMLU:s utvecklingsteam och presenterar forskning på ACL-konferensen (Association for Computational Linguistics) i Wien, Österrike, sommaren 2025.

Detta anses vara den ledande akademiska konferensen om naturlig språkbehandling och lockar över 2 000 forskare varje år. Många grundläggande arbeten om NLP har presenterats här innan de blev branschstandarder.

”Från allra första dagen på konferensen blev jag överväldigad av omfattningen och det öppna akademiska utbytet”, mindes Cúc. Forskningsatmosfären var konstant från morgon till kväll, med många posters utställda, långa tekniska diskussioner och närvaron av labb från Meta, Google, Apple med flera.

Från Vietnam till Wien, Österrike

Bui Thi Cucs forskningsartikel med titeln "ACL VMLU Benchmarks: A comprehensive benchmark toolkit for Vietnamese LLMs", syftar till att åtgärda bristen på utvärderingsverktyg för storskaliga vietnamesiska språkmodeller.

VMLU lanserades i november 2023 av Zalo AI och Japan Advanced Institute of Science and Technology (JAIST) och har tillhandahållit en gemensam uppsättning standarder för att hjälpa storskaliga språkmodellutvecklare (LLM) som riktar sig till vietnamesiska användare att utvärdera och utveckla lämpliga träningsstrategier för sina modeller.

Bui Cuc uppgav att medlemmarna under utvecklingen av VMLU stod inför många utmaningar, från att bygga riktmärken till att säkerställa datakvalitet. Den mest stressiga fasen var dock processen att skicka in forskningsansökningar. Antagningsgraden för forskning vid ACL är bara cirka 25 %, och de var tvungna att konkurrera med många stora AI-forskningsinstitutioner världen över .

”När vi fick resultaten på Borderline-konferensnivå – vilket innebar att resultaten accepterades – var hela teamet nöjdare än väntat. Efter det samlade jag in all feedback från granskningspanelen, diskuterade den med min närmaste chef och övertygade slutligen granskarna att höja poängen så att forskningsartikeln skulle accepteras på huvudkonferensen”, mindes Cúc.

Fru Bui Thi Cuc, som representerar VMLU:s utvecklingsteam, presenterade forskningsprojektet vid ACL-konferensen.

Detta är det första riktmärket som utformats för att bedöma den vietnamesiska språkförståelsen hos stora språkmodeller. Riktmärket inkluderar fyra datamängder med 17 000 frågor för att utvärdera förmågor inom: allmänbildning, läsförståelse, resonemang och dialog.

Enligt Zalos ingenjörer är de flesta nuvarande riktmärken utformade för engelska, vilket inte helt återspeglar den syntaktiska, semantiska och kulturella kontexten för vietnamesiska språket. Att direkt översätta engelska frågeuppsättningar till vietnamesiska resulterar ofta i felaktigheter eller förlust av semantiska nyanser.

För att förklara LLM:s bedömningsramverk enkelt, föreställ dig AI som en student som behöver ett prov för att testa sina förmågor. För närvarande är de flesta prov på engelska, men Zalos AI-team ville skapa ett prov på vietnamesiska för att testa om AI:n verkligen förstår och använder vietnamesiska väl.

Herr Nguyen Truong Son, vetenskapschef på Zalo AI, bekräftade: ”VMLU:s utvärderingssystem tillhandahåller ett gemensamt 'mått' för att utvärdera storskaliga vietnamesiska språkmodeller. Efter publiceringen fick vi mycket positiv feedback från AI-forskargemenskapen både nationellt och internationellt. I framtiden förväntar jag mig att VMLU kommer att bli en allmänt använd och tillämpad utvärderingsstandard, inte bara inom den akademiska världen utan även i företag som utvecklar AI-produkter.”

Tillämpa AI på Zalos produkter.

Utöver sitt akademiska värde har VMLU många potentiella tillämpningar inom utvecklingen av AI-produkter på Zalo.

Enligt Cúc hjälper riktmärket för det första till att utvärdera noggrannheten och språkförståelsen hos modellerna som används i Kiki Info-produkten, en digital medborgarassistent. Detta gör det möjligt för teamet att identifiera modellens begränsningar inom specifika färdigheter.

För det andra används VMLU som ett testverktyg innan nya AI-funktioner distribueras, såsom meddelandesammanfattning, automatiska svarsförslag eller kundtjänstsupport.

I slutändan, med sina funktioner för konversationsutvärdering, hjälper VMLU Zalo att utveckla företagschattrobotar med naturligt klingande kommunikation som överensstämmer med vietnamesisk kommunikationskultur.

"Vårt största mål är att skapa AI-modeller som förstår vietnamesiska naturligt och korrekt", sa Cúc.

Den unga kvinnliga ingenjören hoppas att VMLU ska fortsätta expandera.

Efter att ha återvänt från Wien hoppas den unge ingenjören att VMLU ska fortsätta att expandera och bli en plattform för många inhemska forskargrupper att jämföra och utvärdera modeller på ett enhetligt sätt.

”Jag hoppas att den här datamängden blir utgångspunkten för den vietnamesiska AI-gemenskapen att utvecklas starkare under de kommande åren. Vi vill bidra en liten del till att göra vietnamesiska till ett språk som globala AI-modeller förstår korrekt och bearbetar effektivt.”