Une ingénieure de Zalo présente la technologie vietnamienne à la principale conférence mondiale sur l'IA.

Six années passées chez Zalo ont permis à Bui Thi Cuc d'approfondir sa passion pour l'intelligence artificielle. Après avoir débuté comme data scientist juste après ses études, elle est devenue ingénieure IA senior chez Zalo, représentant l'équipe de développement VMLU et présentant ses recherches à la conférence de l'ACL (Association for Computational Linguistics) à Vienne, en Autriche, durant l'été 2025.

Considérée comme la principale conférence académique sur le traitement automatique du langage naturel, elle attire chaque année plus de 2 000 chercheurs. De nombreux travaux fondamentaux en TALN y ont été présentés avant de devenir des standards industriels.

« Dès le premier jour de la conférence, j'ai été impressionné par son ampleur et la richesse des échanges académiques », se souvient Cúc. L'atmosphère était imprégnée de recherche du matin au soir, avec de nombreux posters exposés, de longues discussions techniques et la présence de laboratoires de Meta, Google, Apple et bien d'autres.

Du Vietnam à Vienne, en Autriche

L'article de recherche de Bui Thi Cuc, intitulé « ACL VMLU Benchmarks : une boîte à outils de référence complète pour les modèles de langue vietnamiens », vise à remédier au manque d'outils d'évaluation pour les modèles de langue vietnamiens à grande échelle.

Lancée en novembre 2023 par Zalo AI et le Japan Advanced Institute of Science and Technology (JAIST), VMLU a fourni un ensemble commun de normes pour aider les développeurs de modèles de langage à grande échelle (LLM) destinés aux utilisateurs vietnamiens à évaluer et à développer des stratégies d'entraînement appropriées pour leurs modèles.

Bui Cuc a déclaré que lors du développement de VMLU, les membres ont dû relever de nombreux défis, de l'établissement de critères de référence à l'assurance qualité des données. Cependant, la phase la plus stressante a été le processus de soumission des recherches. Le taux d'acceptation des recherches à l'ACL n'étant que d'environ 25 %, ils ont dû rivaliser avec de nombreuses grandes institutions de recherche en IA du monde entier .

« Lorsque nous avons reçu les résultats de la conférence préliminaire – c’est-à-dire que les conclusions ont été acceptées – toute l’équipe était ravie. J’ai ensuite rassemblé tous les commentaires du comité d’évaluation, j’en ai discuté avec mon supérieur hiérarchique et j’ai finalement convaincu les évaluateurs de revoir leur note à la hausse afin que l’article soit accepté à la conférence principale », se souvient Cúc.

Mme Bui Thi Cuc, représentant l'équipe de développement de VMLU, a présenté le projet de recherche lors de la conférence ACL.

Il s'agit du premier banc d'essai conçu pour évaluer la capacité de compréhension du vietnamien des grands modèles de langage. Ce banc d'essai comprend quatre ensembles de données contenant 17 000 questions afin d'évaluer les compétences en : culture générale, compréhension écrite, raisonnement et dialogue.

D'après les ingénieurs de Zalo, la plupart des outils d'évaluation actuels sont conçus pour l'anglais, qui ne reflète pas pleinement le contexte syntaxique, sémantique et culturel du vietnamien. La traduction directe des séries de questions anglaises en vietnamien entraîne souvent des inexactitudes ou une perte de nuances sémantiques.

Pour expliquer simplement le cadre d'évaluation du LLM, imaginez l'IA comme un étudiant devant passer un examen pour évaluer ses compétences. Actuellement, la plupart des examens sont en anglais, mais l'équipe d'IA de Zalo souhaitait créer un examen en vietnamien afin de vérifier si l'IA comprend et utilise réellement bien cette langue.

M. Nguyen Truong Son, directeur scientifique de Zalo AI, a affirmé : « Le système d’évaluation VMLU offre une mesure commune pour l’évaluation des modèles de langue vietnamienne à grande échelle. Suite à sa publication, nous avons reçu de nombreux retours positifs de la part de la communauté de recherche en IA, tant au niveau national qu’international. À l’avenir, je m’attends à ce que VMLU devienne une norme d’évaluation largement utilisée et appliquée, non seulement dans le milieu universitaire, mais aussi par les entreprises développant des produits d’IA. »

Application de l'IA aux produits Zalo.

Au-delà de sa valeur académique, VMLU présente de nombreuses applications potentielles dans le développement de produits d'IA chez Zalo.

Selon Cúc, ce test de performance permet tout d'abord d'évaluer la précision et la compréhension linguistique des modèles utilisés dans Kiki Info, un assistant numérique citoyen. Cela permet à l'équipe d'identifier les limites du modèle dans certaines compétences.

Deuxièmement, VMLU est utilisé comme outil de test avant le déploiement de nouvelles fonctionnalités d'IA, telles que la synthèse de messages, les suggestions de réponses automatiques ou l'assistance au service client.

En définitive, grâce à ses capacités d'évaluation conversationnelle, VMLU aide Zalo à développer des chatbots d'entreprise dotés d'une communication naturelle, en phase avec la culture de communication vietnamienne.

« Notre objectif principal est de créer des modèles d'IA qui comprennent le vietnamien de manière naturelle et précise », a déclaré Cúc.

La jeune ingénieure espère que VMLU continuera de se développer.

De retour de Vienne, le jeune ingénieur espère que VMLU continuera de se développer et deviendra une plateforme permettant à de nombreux groupes de recherche nationaux de comparer et d'évaluer des modèles de manière unifiée.

« J’espère que cet ensemble de données servira de point de départ au développement de la communauté vietnamienne de l’IA dans les années à venir. Nous souhaitons contribuer, même modestement, à faire du vietnamien une langue que les modèles d’IA mondiaux comprennent et traitent correctement. »