Zalos kvinnelige ingeniør bringer vietnamesisk teknologi til verdens ledende AI-konferanse.

På ACL 2025-konferansen i Wien i Østerrike – verdens største arrangement om naturlig språkbehandling – vakte forskning på et verktøysett for evaluering av vietnamesiske språkmodeller utviklet av Zalos ingeniørteam oppmerksomhet fra mange internasjonale forskere.

Seks år hos Zalo har gitt Bui Thi Cuc muligheten til å videreutvikle sin lidenskap for kunstig intelligens. Fra en jobb innen datavitenskap rett etter endt utdanning har Cuc blitt senior AI-ingeniør hos Zalo, hvor hun representerte VMLU-utviklingsteamet og presenterte forskning på ACL-konferansen (Association for Computational Linguistics) i Wien, Østerrike sommeren 2025.

Dette regnes som den ledende akademiske konferansen om naturlig språkbehandling, og tiltrekker seg over 2000 forskere hvert år. Mange grunnleggende arbeider om NLP har blitt presentert her før de ble bransjestandarder.

«Helt fra første dag på konferansen ble jeg overveldet av omfanget og den åpne akademiske utvekslingen», mintes Cúc. Forskningsatmosfæren var konstant fra morgen til kveld, med en rekke plakater utstilt, lange tekniske diskusjoner og tilstedeværelsen av laboratorier fra Meta, Google, Apple og flere.

Fra Vietnam til Wien, Østerrike

Bui Thi Cucs forskningsartikkel, med tittelen «ACL VMLU Benchmarks: A comprehensive benchmark toolkit for Vietnamese LLMs», tar sikte på å adressere mangelen på evalueringsverktøy for storskala vietnamesiske språkmodeller.

VMLU ble lansert i november 2023 av Zalo AI og Japan Advanced Institute of Science and Technology (JAIST), og har levert et felles sett med standarder for å hjelpe storskala språkmodellutviklere (LLM) som retter seg mot vietnamesiske brukere med å evaluere og utvikle passende treningsstrategier for modellene sine.

Bui Cuc uttalte at medlemmene møtte en rekke utfordringer under utviklingen av VMLU, fra å bygge referansepunkter til å sikre datakvalitet. Den mest stressende fasen var imidlertid innsendingsprosessen av forskningen. Akseptraten for forskning ved ACL er bare rundt 25 %, og de måtte konkurrere med mange store AI-forskningsinstitusjoner over hele verden .

«Da vi mottok resultatene på Borderline-konferansenivå – som betyr at funnene ble akseptert – var hele teamet mer fornøyd enn forventet. Etter det samlet jeg alle tilbakemeldingene fra evalueringspanelet, diskuterte dem med min nærmeste leder, og overbeviste til slutt evalueringsmedlemmene om å heve poengsummen slik at forskningsartikkelen ville bli akseptert på hovedkonferansen», mintes Cúc.

Fru Bui Thi Cuc, som representerte VMLUs utviklingsteam, presenterte forskningsprosjektet på ACL-konferansen.

Dette er den første referanseverdien som er utformet for å vurdere den vietnamesiske språkforståelsesevnen til store språkmodeller. Referanseverdien inkluderer fire datasett med 17 000 spørsmål for å evaluere evner innen: generell kunnskap, leseforståelse, resonnering og dialog.

Ifølge Zalos ingeniører er de fleste nåværende referansetester utformet for engelsk, noe som ikke fullt ut gjenspeiler den syntaktiske, semantiske og kulturelle konteksten til vietnamesisk. Direkte oversettelse av engelske spørsmålssett til vietnamesisk resulterer ofte i unøyaktigheter eller tap av semantiske nyanser.

For å forklare vurderingsrammeverket for LLM på en enkel måte, kan du se for deg AI som en student som trenger en eksamen for å teste sine evner. For tiden er de fleste eksamener på engelsk, men Zalo AI-teamet ønsket å lage en eksamen på vietnamesisk for å teste om AI-en virkelig forstår og bruker vietnamesisk godt.

Nguyen Truong Son, vitenskapsdirektør ved Zalo AI, bekreftet: «VMLU-evalueringssystemet gir et felles «mål» for å evaluere storskala vietnamesiske språkmodeller. Etter publiseringen fikk vi mye positiv tilbakemelding fra AI-forskningsmiljøet både nasjonalt og internasjonalt. I fremtiden forventer jeg at VMLU vil bli en mye brukt og anvendt evalueringsstandard, ikke bare i akademia, men også i bedrifter som utvikler AI-produkter.»

Bruk av kunstig intelligens på Zalos produkter.

Utover den akademiske verdien har VMLU mange potensielle bruksområder innen utvikling av AI-produkter ved Zalo.

Ifølge Cúc bidrar referansepunktet for det første til å evaluere nøyaktigheten og språkforståelsen til modellene som brukes i Kiki Info-produktet, en digital borgerassistent. Dette lar teamet identifisere modellens begrensninger innen spesifikke ferdigheter.

For det andre brukes VMLU som et testverktøy før nye AI-funksjoner distribueres, for eksempel meldingsoppsummering, automatiske svarforslag eller kundeservicestøtte.

Til syvende og sist, med sine samtalebaserte evalueringsmuligheter, hjelper VMLU Zalo med å utvikle bedriftschaboter med naturlig kommunikasjon som samsvarer med vietnamesisk kommunikasjonskultur.

«Vårt største mål er å lage AI-modeller som forstår vietnamesisk naturlig og nøyaktig», sa Cúc.

Den unge kvinnelige ingeniøren håper VMLU vil fortsette å ekspandere.

Den unge ingeniøren, som kommer tilbake fra Wien, håper at VMLU vil fortsette å ekspandere og bli en plattform for mange innenlandske forskningsgrupper for å sammenligne og evaluere modeller på en enhetlig måte.

«Jeg håper dette datasettet vil være utgangspunktet for at det vietnamesiske AI-samfunnet skal kunne utvikle seg sterkere i årene som kommer. Vi ønsker å bidra med en liten del til å gjøre vietnamesisk til et språk som globale AI-modeller forstår riktig og behandler effektivt.»

Medlemmene av Zalo AI-teamet.

Kilde: https://znews.vn/nu-ky-su-zalo-dua-cong-nghe-viet-toi-hoi-thao-ai-hang-dau-the-gioi-post1610072.html