Inżynierka z Zalo prezentuje wietnamską technologię na najważniejszej na świecie konferencji poświęconej sztucznej inteligencji.

Sześć lat pracy w Zalo pozwoliło Bui Thi Cuc rozwinąć pasję do sztucznej inteligencji. Po ukończeniu studiów, zaraz po pracy w dziale data science , Cuc została starszym inżynierem AI w Zalo, reprezentując zespół programistów VMLU i prezentując badania na konferencji ACL (Association for Computational Linguistics) w Wiedniu w Austrii latem 2025 roku.

Jest to wiodąca konferencja naukowa poświęcona przetwarzaniu języka naturalnego, przyciągająca co roku ponad 2000 badaczy. Wiele fundamentalnych prac z zakresu przetwarzania języka naturalnego zostało tu zaprezentowanych, zanim stały się standardami branżowymi.

„Już od pierwszego dnia konferencji byłem pod wrażeniem jej skali i otwartej wymiany akademickiej” – wspominał Cúc. Atmosfera badawcza była niezmienna od rana do wieczora, z licznymi plakatami na wystawie, długimi dyskusjami technicznymi i obecnością laboratoriów Meta, Google, Apple i innych.

Z Wietnamu do Wiednia w Austrii

Praca badawcza Bui Thi Cuc zatytułowana „ACL VMLU Benchmarks: A comprehensive benchmark toolkit for Vietnamese LLMs” ma na celu rozwiązanie problemu braku narzędzi ewaluacyjnych dla modeli języka wietnamskiego na dużą skalę.

Platforma VMLU, uruchomiona w listopadzie 2023 r. przez Zalo AI i Japoński Zaawansowany Instytut Nauki i Technologii (JAIST), zapewnia wspólny zestaw standardów, które pomagają twórcom modeli językowych na dużą skalę (LLM) skierowanych do użytkowników wietnamskich w ocenie i opracowaniu odpowiednich strategii szkoleniowych dla ich modeli.

Bui Cuc stwierdził, że podczas rozwoju VMLU członkowie napotkali liczne wyzwania, od tworzenia benchmarków po zapewnienie jakości danych. Jednak najbardziej stresującym etapem był proces zgłaszania prac badawczych. Wskaźnik akceptacji prac badawczych w ACL wynosi zaledwie około 25%, a organizacja musiała konkurować z wieloma dużymi instytucjami badawczymi zajmującymi się sztuczną inteligencją na całym świecie .

„Kiedy otrzymaliśmy wyniki na poziomie konferencji Borderline – co oznaczało, że wnioski zostały zaakceptowane – cały zespół był bardziej zadowolony, niż się spodziewałem. Następnie zebrałem wszystkie opinie od komisji recenzującej, omówiłem je z moim bezpośrednim przełożonym i ostatecznie przekonałem recenzentów do podniesienia punktacji, aby praca badawcza została zaakceptowana na głównej konferencji” – wspomina Cúc.

Pani Bui Thi Cuc, reprezentująca zespół rozwojowy VMLU, przedstawiła projekt badawczy na konferencji ACL.

To pierwszy test porównawczy opracowany w celu oceny zdolności rozumienia języka wietnamskiego przez duże modele językowe. Test obejmuje cztery zestawy danych z 17 000 pytań, które służą do oceny umiejętności w zakresie: wiedzy ogólnej, rozumienia tekstu czytanego, rozumowania i dialogu.

Według inżynierów Zalo, większość obecnych testów porównawczych jest zaprojektowana dla języka angielskiego, co nie odzwierciedla w pełni składni, semantyki i kontekstu kulturowego języka wietnamskiego. Bezpośrednie tłumaczenie zestawów pytań z języka angielskiego na wietnamski często prowadzi do nieścisłości lub utraty niuansów semantycznych.

Aby w prosty sposób wyjaśnić ramy oceny LLM, wyobraźmy sobie sztuczną inteligencję jako studenta potrzebującego egzaminu, który sprawdzi jego umiejętności. Obecnie większość egzaminów jest po angielsku, ale zespół Zalo AI chciał stworzyć egzamin w języku wietnamskim, aby sprawdzić, czy sztuczna inteligencja rzeczywiście rozumie i dobrze posługuje się tym językiem.

Pan Nguyen Truong Son, dyrektor ds. naukowych w Zalo AI, potwierdził: „System ewaluacji VMLU stanowi wspólną „miarę” oceny modeli języka wietnamskiego na dużą skalę. Po jego publikacji otrzymaliśmy wiele pozytywnych opinii od środowiska badawczego zajmującego się sztuczną inteligencją, zarówno w kraju, jak i za granicą. Spodziewam się, że w przyszłości VMLU stanie się szeroko stosowanym i szeroko stosowanym standardem ewaluacji, nie tylko w środowisku akademickim, ale także w firmach opracowujących produkty z zakresu sztucznej inteligencji”.

Zastosowanie sztucznej inteligencji w produktach Zalo.

Oprócz wartości akademickiej VMLU ma wiele potencjalnych zastosowań w rozwoju produktów AI w Zalo.

Według Cúca, test porównawczy pomaga przede wszystkim ocenić dokładność i rozumienie języka modeli używanych w produkcie Kiki Info, cyfrowym asystencie obywatelskim. Pozwala to zespołowi zidentyfikować ograniczenia modelu w zakresie konkretnych umiejętności.

Po drugie, VMLU jest używane jako narzędzie testowe przed wdrożeniem nowych funkcji sztucznej inteligencji, takich jak podsumowywanie wiadomości, automatyczne sugestie odpowiedzi czy obsługa klienta.

Ostatecznie, dzięki swoim możliwościom oceny konwersacji, VMLU pomaga Zalo tworzyć korporacyjne chatboty z naturalnie brzmiącą komunikacją, która jest zgodna z wietnamską kulturą komunikacyjną.

„Naszym najważniejszym celem jest stworzenie modeli sztucznej inteligencji, które będą naturalnie i dokładnie rozumieć język wietnamski” – powiedział Cúc.

Młoda inżynierka ma nadzieję, że VMLU będzie się nadal rozwijać.

Po powrocie z Wiednia młody inżynier ma nadzieję, że VMLU będzie się nadal rozwijać i stanie się platformą, na której wiele krajowych grup badawczych będzie mogło porównywać i oceniać modele w ujednolicony sposób.

Mam nadzieję, że ten zbiór danych stanie się punktem wyjścia dla wietnamskiej społeczności AI, która będzie się rozwijać w nadchodzących latach. Chcemy choć w niewielkim stopniu przyczynić się do tego, aby wietnamski stał się językiem, który globalne modele AI będą poprawnie rozumieć i skutecznie przetwarzać.