Seks år hos Zalo har gitt Bui Thi Cuc muligheten til å videreutvikle sin lidenskap for kunstig intelligens. Fra en stilling som dataforsker rett etter universitetet har Cuc blitt senior AI-ingeniør hos Zalo, hvor hun representerer VMLUs utviklingsteam og presenterer forskning på ACL-konferansen (Association for Computational Linguistics) i Wien, Østerrike, sommeren 2025.

Dette regnes som den ledende akademiske konferansen om naturlig språkbehandling, og tiltrekker seg over 2000 forskere hvert år. Mange grunnleggende arbeider om NLP har blitt presentert her før de ble bransjestandarder.

«Helt fra første dag på konferansen ble jeg overveldet av omfanget og den åpne akademiske utvekslingen», mintes Cúc. Forskningsatmosfæren var konstant fra morgen til kveld, med en rekke plakater utstilt, lange tekniske diskusjoner og tilstedeværelsen av laboratorier fra Meta, Google, Apple og flere.

Fra Vietnam til Wien, Østerrike

Bui Thi Cucs forskning, med tittelen ACL VMLU Benchmarks: A comprehensive benchmark toolkit for Vietnamese LLMs, tar sikte på å adressere mangelen på evalueringsverktøy for storskala vietnamesiske språkmodeller.

VMLU ble lansert i november 2023 av Zalo AI og Japan Advanced Institute of Science and Technology (JAIST), og har levert et felles sett med standarder for å hjelpe storskala språkmodellutviklere (LLM) som retter seg mot vietnamesiske brukere med å evaluere og utvikle passende treningsstrategier for modellene sine.

Fru Cúc uttalte at medlemmene møtte en rekke utfordringer under utviklingen av VMLU, fra å bygge referansepunkter til å sikre datakvalitet. Den mest stressende fasen var imidlertid prosessen med å sende inn forskningen. Akseptraten for forskning ved ACL er bare rundt 25 %, og de måtte konkurrere med mange store AI-forskningsinstitusjoner over hele verden .

«Da vi mottok resultatene på Borderline-konferansenivå – som betyr at funnene ble akseptert – var hele teamet mer fornøyd enn forventet. Etter det samlet jeg alle tilbakemeldingene fra evalueringspanelet, diskuterte dem med min nærmeste leder, og overbeviste til slutt evalueringsmedlemmene om å heve poengsummen slik at forskningsartikkelen ville bli akseptert på hovedkonferansen», mintes Cúc.

anh 1 (3).jpg

Dette er den første referanseverdien som er utformet for å vurdere den vietnamesiske språkforståelsesevnen til store språkmodeller. Referanseverdien inkluderer fire datasett med 17 000 spørsmål for å evaluere evner innen: generell kunnskap, leseforståelse, resonnering og dialog.

Nguyen Truong Son – vitenskapsdirektør ved Zalo AI – bekreftet: «VMLU-evalueringssystemet gir et felles «mål» for å evaluere storskala vietnamesiske språkmodeller. Etter publiseringen fikk vi mye positiv tilbakemelding fra AI-forskningsmiljøet både nasjonalt og internasjonalt. I fremtiden forventer jeg at VMLU vil bli en mye brukt og anvendt evalueringsstandard, ikke bare i akademia, men også i bedrifter som utvikler AI-produkter.»

Bruk av kunstig intelligens på Zalos produkter.

Utover den akademiske verdien har VMLU mange potensielle bruksområder innen utvikling av AI-produkter ved Zalo.

Ifølge Cúc bidrar referansepunktet for det første til å evaluere nøyaktigheten og språkforståelsen til modellene som brukes i Kiki Info-produktet, en digital borgerassistent. Dette lar teamet identifisere modellens begrensninger innen spesifikke ferdigheter.

For det andre brukes VMLU som et testverktøy før nye AI-funksjoner, som meldingsoppsummering, automatiske svarforslag eller kundeservicestøtte, tas i bruk.

Til syvende og sist, med sine funksjoner for samtaleevaluering, hjelper VMLU Zalo med å utvikle bedriftschatboter med naturlig klingende kommunikasjon som samsvarer med vietnamesisk kommunikasjonskultur.

«Vårt største mål er å lage AI-modeller som forstår vietnamesisk naturlig og nøyaktig», sa Cúc.

bilde 2.png

Den unge ingeniøren, som kommer tilbake fra Wien, håper at VMLU vil fortsette å ekspandere og bli en plattform for mange innenlandske forskningsgrupper for å sammenligne og evaluere modeller på en enhetlig måte.

«Jeg håper dette datasettet vil være utgangspunktet for at det vietnamesiske AI-samfunnet skal kunne utvikle seg sterkere i årene som kommer. Vi ønsker å bidra med en liten del til å gjøre vietnamesisk til et språk som globale AI-modeller forstår riktig og behandler effektivt.»

anh 3.png
Zalo AI-toppmøtet 2025, med temaet «Vietnam i AI-ifiseringens æra», vil bli avholdt klokken 08.00 lørdag 20. desember 2025 på VNG Campus, Tan Thuan Export Processing Zone, Ho Chi Minh-byen.
Arrangementet vil bli sendt direkte på Zalos offisielle informasjonskanaler, og det forventes at det vil tiltrekke seg mer enn 400 AI-ingeniører.
Registrer deg for å delta på: https://summit.zalo.ai/

Bich Dao

Kilde: https://vietnamnet.vn/nu-ky-su-zalo-dua-cong-nghe-viet-toi-hoi-thao-ai-hang-dau-the-gioi-2471254.html