Inženýrka ze Zala přináší vietnamskou technologii na přední světovou konferenci o umělé inteligenci.

Šest let strávených ve společnosti Zalo umožnilo Bui Thi Cuc dále rozvíjet svou vášeň pro umělou inteligenci. Z pozice v oblasti datové vědy hned po promoci se Cuc stala seniorní inženýrkou umělé inteligence ve společnosti Zalo, kde zastupuje vývojový tým VMLU a prezentuje svůj výzkum na konferenci ACL (Asociace pro počítačovou lingvistiku) ve Vídni v Rakousku v létě 2025.

Tato konference je považována za přední akademickou konferenci o zpracování přirozeného jazyka a každoročně přitahuje přes 2 000 výzkumníků. Než se staly průmyslovými standardy, bylo zde prezentováno mnoho základních prací o NLP.

„Hned od prvního dne konference mě ohromil její rozsah a otevřená akademická výměna,“ vzpomínal Cúc. Výzkumná atmosféra byla od rána do večera konstantní, s četnými vystavenými postery, dlouhými technickými diskusemi a přítomností laboratoří od společností Meta, Google, Apple a dalších.

Z Vietnamu do Vídně v Rakousku

Výzkumná práce Bui Thi Cuc s názvem „ACL VMLU Benchmarks: Komplexní sada nástrojů pro benchmarking pro vietnamské LLM“ si klade za cíl řešit nedostatek hodnotících nástrojů pro rozsáhlé vietnamské jazykové modely.

Projekt VMLU, spuštěný v listopadu 2023 společností Zalo AI a Japonským pokročilým institutem pro vědu a technologii (JAIST), poskytl společnou sadu standardů, které pomáhají vývojářům rozsáhlých jazykových modelů (LLM) zaměřených na vietnamské uživatele vyhodnocovat a vyvíjet vhodné školicí strategie pro jejich modely.

Bui Cuc uvedl, že během vývoje VMLU se členové potýkali s řadou výzev, od vytváření benchmarků až po zajištění kvality dat. Nejstresovější fází však byl proces předkládání výzkumných prací. Míra přijetí výzkumných prací v ACL je pouze asi 25 % a museli konkurovat mnoha velkým institucím zabývajícím se výzkumem umělé inteligence po celém světě .

„Když jsme na úrovni konference Borderline obdrželi výsledky – což znamená, že zjištění byla přijata – byl celý tým spokojenější, než se očekávalo. Poté jsem shromáždil veškerou zpětnou vazbu od hodnotící komise, prodiskutoval ji se svým přímým nadřízeným a nakonec jsem přesvědčil recenzenty, aby zvýšili skóre, aby výzkumná práce byla přijata na hlavní konferenci,“ vzpomínal Cúc.

Paní Bui Thi Cuc, zástupkyně vývojového týmu VMLU, prezentovala výzkumný projekt na konferenci ACL.

Toto je první benchmark navržený k posouzení schopnosti porozumět vietnamskému jazyku u velkých jazykových modelů. Benchmark zahrnuje čtyři datové sady se 17 000 otázkami k vyhodnocení schopností v: všeobecných znalostech, porozumění čtenému textu, uvažování a dialogu.

Podle inženýrů společnosti Zalo je většina současných benchmarků navržena pro angličtinu, která plně neodráží syntaktický, sémantický a kulturní kontext vietnamštiny. Přímý překlad anglických otázek do vietnamštiny často vede k nepřesnostem nebo ztrátě sémantických nuancí.

Abychom zjednodušeně vysvětlili rámec hodnocení LLM, představte si umělou inteligenci jako studenta, který potřebuje zkoušku, která otestuje jeho schopnosti. V současné době se většina zkoušek koná v angličtině, ale tým Zalo AI chtěl vytvořit zkoušku ve vietnamštině, aby otestoval, zda umělá inteligence skutečně rozumí vietnamštině a zda ji dobře používá.

Pan Nguyen Truong Son, ředitel vědy ve společnosti Zalo AI, potvrdil: „Hodnoticí systém VMLU poskytuje společné „měřítko“ pro hodnocení rozsáhlých vietnamských jazykových modelů. Po jeho zveřejnění jsme obdrželi mnoho pozitivních ohlasů od výzkumné komunity v oblasti umělé inteligence, a to jak v tuzemsku, tak i v zahraničí. V budoucnu očekávám, že se VMLU stane široce používaným a aplikovaným hodnoticím standardem, a to nejen v akademické komunitě, ale i v podnicích vyvíjejících produkty umělé inteligence.“

Aplikace umělé inteligence na produkty Zalo.

Kromě akademické hodnoty má VMLU mnoho potenciálních aplikací ve vývoji produktů umělé inteligence v Zalo.

Podle Cúca benchmark v první řadě pomáhá vyhodnotit přesnost a jazykovou srozumitelnost modelů používaných v produktu Kiki Info, digitálním občanském asistentovi. To umožňuje týmu identifikovat omezení modelu v konkrétních dovednostech.

Za druhé, VMLU se používá jako testovací nástroj před nasazením nových funkcí umělé inteligence, jako je shrnutí zpráv, automatické návrhy odpovědí nebo podpora zákaznických služeb.

Díky svým schopnostem konverzačního vyhodnocování pomáhá VMLU společnosti Zalo vyvíjet podnikové chatboty s přirozeně znějící komunikací, která je v souladu s vietnamskou komunikační kulturou.

„Naším největším cílem je vytvořit modely umělé inteligence, které vietnamštině rozumí přirozeně a přesně,“ řekl Cúc.

Mladá inženýrka doufá, že se VMLU bude i nadále rozšiřovat.

Mladý inženýr doufá, že se VMLU po návratu z Vídně bude dále rozšiřovat a stane se platformou pro mnoho domácích výzkumných skupin, kde budou moci jednotným způsobem porovnávat a vyhodnocovat modely.

„Doufám, že tato datová sada bude výchozím bodem pro silnější rozvoj vietnamské komunity umělé inteligence v nadcházejících letech. Chceme svou malou částí přispět k tomu, aby se vietnamština stala jazykem, kterému globální modely umělé inteligence správně rozumějí a efektivně jej zpracovávají.“