Zalo női mérnöke vietnami technológiát hoz a világ vezető mesterséges intelligencia konferenciájára.

A Zalónál eltöltött hat év lehetővé tette Bui Thi Cuc számára, hogy továbbfejlessze a mesterséges intelligencia iránti szenvedélyét. A diploma megszerzése utáni adatelemzői állásból Cuc a Zaló vezető MI-mérnöke lett, a VMLU fejlesztőcsapatát képviselve, és kutatási előadást tartva a 2025 nyarán Bécsben megrendezett ACL (Számítógépes Nyelvészeti Társaság) konferencián.

Ez a természetes nyelvi feldolgozás vezető tudományos konferenciája, amely évente több mint 2000 kutatót vonz. Számos alapvető munkát mutattak be az NLP-ről, mielőtt ipari szabványokká váltak volna.

„Már a konferencia első napjától lenyűgözött a nagyságrend és a nyílt tudományos eszmecsere” – emlékezett vissza Cúc. A kutatási légkör reggeltől estig állandó volt, számos kiállított poszterrel, hosszas technikai megbeszélésekkel, valamint a Meta, a Google, az Apple és más cégek laboratóriumainak jelenlétével.

Vietnámtól Bécsig, Ausztriáig

Bui Thi Cuc „ACL VMLU Benchmarks: Átfogó benchmark eszköztár vietnami nyelvi mesterképzéshez” című kutatási tanulmánya a nagyszabású vietnami nyelvi modellek értékelési eszközeinek hiányát kívánja orvosolni.

A Zalo AI és a Japán Fejlett Tudományos és Technológiai Intézet (JAIST) által 2023 novemberében elindított VMLU közös szabványkészletet biztosított, amely segíti a vietnami felhasználókat célzó nagyméretű nyelvi modell (LLM) fejlesztőket modelljeik megfelelő betanítási stratégiáinak értékelésében és kidolgozásában.

Bui Cuc kijelentette, hogy a VMLU fejlesztése során a tagok számos kihívással szembesültek, a benchmarkok kidolgozásától az adatminőség biztosításáig. A legstresszesebb szakasz azonban a kutatási anyagok benyújtási folyamata volt. Az ACL-nél a kutatások elfogadási aránya mindössze 25% körül van, és világszerte számos nagy mesterséges intelligencia kutatóintézettel kellett versenyezniük.

„Amikor megkaptuk az eredményeket a Borderline Konferencia szintjén – vagyis az eredményeket elfogadták –, az egész csapat boldogabb volt a vártnál. Ezután összegyűjtöttem az összes visszajelzést a bírálóbizottságtól, megbeszéltem azokat a közvetlen felettesemmel, és végül meggyőztem a bírálókat, hogy emeljék meg a pontszámot, hogy a kutatási dolgozatot elfogadhassák a fő konferencián” – emlékezett vissza Cúc.

Bui Thi Cuc asszony, a VMLU fejlesztőcsapatának képviselője, bemutatta a kutatási projektet az ACL konferencián.

Ez az első olyan benchmark, amely a nagy nyelvi modellek vietnami nyelvi megértési képességét méri fel. A benchmark négy adathalmazt tartalmaz, összesen 17 000 kérdéssel, amelyek a következő területeken értékelik a képességeket: általános ismeretek, olvasásértés, érvelés és párbeszéd.

A Zalo mérnökei szerint a legtöbb jelenlegi referenciaérték angol nyelvre készült, amely nem tükrözi teljes mértékben a vietnami nyelv szintaktikai, szemantikai és kulturális kontextusát. Az angol kérdéssorok vietnami nyelvre történő közvetlen fordítása gyakran pontatlanságokhoz vagy a szemantikai árnyalatok elvesztéséhez vezet.

Az LLM értékelési keretrendszer egyszerű magyarázatához képzeljük el a mesterséges intelligenciát egy diákként, akinek vizsgára van szüksége a képességei felmérésére. Jelenleg a legtöbb vizsga angol nyelven van, de a Zalo AI csapata vietnami nyelvű vizsgát szeretett volna létrehozni, hogy tesztelje, vajon a mesterséges intelligencia valóban érti és jól használja-e a vietnamit.

Nguyen Truong Son, a Zalo AI tudományos igazgatója megerősítette: „A VMLU értékelési rendszer egy közös »mércét« biztosít a nagyméretű vietnami nyelvi modellek értékeléséhez. A közzététele után sok pozitív visszajelzést kaptunk a mesterséges intelligencia kutatói közösségétől mind belföldön, mind nemzetközi szinten. A jövőben arra számítok, hogy a VMLU széles körben használt és alkalmazott értékelési szabvány lesz, nemcsak az akadémiai közösségben, hanem a mesterséges intelligencia termékeket fejlesztő vállalkozásokban is.”

Mesterséges intelligencia alkalmazása a Zalo termékeiben.

Akadémiai értékén túl a VMLU számos potenciális alkalmazási lehetőséggel rendelkezik a Zalo mesterséges intelligencia alapú termékeinek fejlesztésében.

Cúc szerint a benchmark először is segít felmérni a Kiki Info digitális állampolgári asszisztens termékben használt modellek pontosságát és nyelvi megértését. Ez lehetővé teszi a csapat számára, hogy azonosítsa a modell korlátait bizonyos készségek terén.

Másodszor, a VMLU-t tesztelési eszközként használják új AI-funkciók, például üzenetösszefoglaló, automatikus válaszjavaslatok vagy ügyfélszolgálati támogatás telepítése előtt.

Végső soron a VMLU beszélgetés-értékelési képességeivel segíti a Zalót olyan vállalati chatbotok fejlesztésében, amelyek természetes hangzású kommunikációt biztosítanak, és összhangban vannak a vietnami kommunikációs kultúrával.

„Legnagyobb célunk olyan mesterséges intelligencia modellek létrehozása, amelyek természetes módon és pontosan megértik a vietnamit” – mondta Cúc.

A fiatal női mérnök reméli, hogy a VMLU tovább fog terjeszkedni.

A Bécsből visszatérő fiatal mérnök abban bízik, hogy a VMLU tovább bővül, és számos hazai kutatócsoport számára platformmá válik a modellek egységes összehasonlítására és értékelésére.

„Remélem, hogy ez az adathalmaz kiindulópontként szolgál majd a vietnami MI-közösség számára a további fejlődéshez az elkövetkező években. Szeretnénk egy kis mértékben hozzájárulni ahhoz, hogy a vietnami nyelv olyan nyelv legyen, amelyet a globális MI-modellek helyesen megértenek és hatékonyan feldolgoznak.”