VMLU (Vietnamese Multitask Language Understanding) a été développé par Zalo AI en collaboration avec le Japan Advanced Institute of Science and Technology (JAIST) pour aider la communauté de recherche et de développement en IA au Vietnam à disposer de plus d'outils pour évaluer la qualité de sortie des modèles d'IA générative vietnamiens.
Il s'agit donc d'un ensemble de normes d'évaluation vietnamiennes à multiples facettes et à plusieurs niveaux, qui répond aux besoins les plus divers du marché actuel avec 10 880 questions à choix multiples portant sur 58 sujets différents.
Pourquoi AI Vietnam a-t-elle besoin d'un ensemble complet de normes d'évaluation des compétences en langue vietnamienne ?
La croissance fulgurante de ChatGPT a donné naissance à une nouvelle catégorie : l’IA générative. Selon les statistiques, depuis l’apparition de ChatGPT, on compte actuellement environ 16 000 modèles similaires à ChatGPT dans le monde .
Le Vietnam n'échappe pas à cette tendance : de nombreux groupes de recherche, de tailles et de potentiels variés, souhaitent expérimenter l'intelligence artificielle générative en utilisant le vietnamien. Il en résulte le besoin d'un ensemble d'évaluations des compétences en vietnamien pour ces modèles d'IA, afin de mesurer le niveau de connaissances et de raisonnement dans cette langue.
Sur le marché actuel, la plupart des groupes de recherche en modélisation de modèles légaux (LLM) au Vietnam doivent développer leurs propres outils d'évaluation, selon leurs propres critères. Ces outils internes ne sont pas publics. L'outil d'évaluation de Zalo AI, conçu pour répondre à des besoins généraux, peut servir de norme commune pour les modèles LLM et est mis à la disposition de la communauté de l'IA. Il permet aux petits groupes de recherche d'accéder à des ensembles de données d'évaluation complets et facilite la comparaison des résultats, encourageant ainsi l'amélioration des modèles.
Motiver l'IA vietnamienne à rejoindre la vague mondiale de l'IA générative
En novembre 2023, Zalo AI a officiellement annoncé les normes d'évaluation des compétences linguistiques en vietnamien de VMLU. Il s'agit d'un ensemble de normes élaborées par les ingénieurs de Zalo AI en collaboration avec l'Institut JAIST afin d'évaluer la capacité des modèles d'IA, notamment d'IA générative, à comprendre et à utiliser le vietnamien.
La création de VMLU a incité des particuliers, des startups et de petits groupes de recherche à développer de nouveaux modèles d'IA vietnamiens. Ceci ouvre la voie à de nouvelles recherches, jette les bases de l'évaluation de la précision et de l'amélioration des résultats des modèles de base, contribuant ainsi à l'achèvement du développement d'applications d'IA pour la langue vietnamienne, conçues par des Vietnamiens pour des Vietnamiens.
C’est également l’un des facteurs importants qui contribuent à accélérer le développement de l’IA générative au Vietnam, lui permettant de rattraper la vague de développement de l’IA dans le monde.
Quelles sont les normes d'évaluation des compétences en langue vietnamienne ?
En conséquence, il s'agit d'un ensemble de normes d'évaluation de la langue vietnamienne qui est multifacettes, à plusieurs niveaux et qui répond aux besoins les plus divers du marché vietnamien de la recherche et du développement en IA générative, en se concentrant sur deux parties principales : les données (ensemble de données de test) et un ensemble de normes d'évaluation, comme base pour tester les modèles d'IA utilisant la langue vietnamienne.
Plus précisément, l'ensemble de données comprend 10 880 questions à choix multiples réparties en 58 thèmes différents. Chaque thème compte environ 200 questions et se répartit en 4 domaines : sciences, technologies, ingénierie et mathématiques (STEM), sciences sociales, sciences humaines et une catégorie plus large intitulée « Élargi ». Grâce à cet ensemble de données, VMLU propose une stratification de la difficulté en 4 niveaux : primaire, secondaire, lycée et formation professionnelle (université et études supérieures). L'outil permet ainsi d'évaluer efficacement la maîtrise du vietnamien par les modèles d'IA, tant pour les connaissances élémentaires que pour la résolution de problèmes complexes.
De plus, afin d'aider les groupes de recherche à évaluer facilement les capacités de leurs modèles d'IA vietnamiens, l'équipe d'ingénierie IA de Zalo a conçu des instructions d'accompagnement permettant aux groupes de les utiliser rapidement et simplement.
Contribuez à la communauté vietnamienne de l'IA
Le standard VMLU a été conçu comme un produit issu de la recherche, dans le but de contribuer au développement de la communauté vietnamienne de recherche en IA en particulier et de la communauté des technologies de l'information en général, sans facturer les utilisateurs, les groupes de recherche ou les entreprises.
Auparavant, Zalo AI a mis en œuvre, déployé et organisé une série de compétitions et de programmes pour la communauté vietnamienne de l'IA, tels que : Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... Ces activités créent non seulement un terrain de jeu pour la communauté vietnamienne de l'IA, mais encouragent également l'application de l'IA dans la vie quotidienne, la résolution de problèmes sociaux urgents et la satisfaction des besoins de millions de Vietnamiens.
Le Dr Chau Thanh Duc, directeur du département de recherche en IA de Zalo et maître de conférences à l'Université des sciences naturelles de l'Université nationale d'Hô Chi Minh -Ville, a affirmé : « Zalo AI a toujours eu pour objectif de contribuer à la communauté vietnamienne de l'IA et de stimuler son développement. Nous espérons ainsi voir apparaître de plus en plus de produits d'IA conçus par et pour les Vietnamiens. »
Source
![[Photo] Défilé pour célébrer le 50e anniversaire de la fête nationale du Laos](/_next/image?url=https%3A%2F%2Fvphoto.vietnam.vn%2Fthumb%2F1200x675%2Fvietnam%2Fresource%2FIMAGE%2F2025%2F12%2F02%2F1764691918289_ndo_br_0-jpg.webp&w=3840&q=75)
Comment (0)