VMLU (Vietnamese Multitask Language Understanding) a été développé par Zalo AI en collaboration avec le Japan Advanced Institute of Science and Technology (JAIST) pour aider la communauté de recherche et développement en IA au Vietnam à disposer de davantage d'outils pour évaluer la qualité de sortie des modèles d'IA générative vietnamiens.
Il s’agit donc d’un ensemble de normes d’évaluation vietnamiennes à multiples facettes et à plusieurs niveaux qui répond aux besoins les plus divers du marché actuel avec 10 880 questions à choix multiples portant sur 58 sujets différents.
Pourquoi AI Vietnam a-t-il besoin d’un ensemble complet de normes d’évaluation des compétences en langue vietnamienne ?
La croissance fulgurante de ChatGPT a donné naissance à une nouvelle discipline : l'IA générative. Selon les statistiques, depuis le lancement de ChatGPT, il existe actuellement environ 16 000 modèles similaires à ChatGPT dans le monde .
Le Vietnam n'échappe pas à cette tendance : de nombreux groupes de recherche, d'envergure et de potentiel divers, souhaitent également expérimenter l'IA générative en vietnamien. Cela a conduit à la nécessité d'un système d'évaluation des compétences en vietnamien pour ces modèles d'IA, afin de mesurer le niveau de connaissance et de réflexion en vietnamien.
Sur le marché actuel, la plupart des groupes de recherche LLM au Vietnam doivent élaborer leurs propres outils d'évaluation, avec leurs propres normes pour leurs modèles. Il s'agit d'outils d'évaluation internes qui ne sont pas rendus publics. L'outil d'évaluation de Zalo AI répond aux besoins généraux, peut servir de norme commune pour les modèles LLM et est mis à la disposition de la communauté de l'IA. Il permet aux petits groupes de recherche d'accéder à des ensembles de données d'évaluation complets et permet aux parties de comparer les résultats entre eux. De là, il incite à améliorer le modèle.
Motiver l'IA vietnamienne à rejoindre la vague mondiale de l'IA générative
En novembre 2023, Zalo AI a officiellement annoncé les normes d'évaluation des compétences en vietnamien de la VMLU. Il s'agit d'un ensemble de normes élaborées par les ingénieurs de Zalo AI en collaboration avec l'Institut JAIST pour évaluer la capacité de compréhension et d'application du vietnamien des modèles d'IA, notamment l'IA générative.
La naissance de la VMLU a incité des particuliers, des startups et des petits groupes de recherche à développer de nouveaux modèles d'IA vietnamiens. Cela crée les conditions propices à de nouvelles recherches, pose les bases de la mesure de la précision et de l'amélioration des résultats des modèles de base, contribuant ainsi à finaliser le processus de développement d'applications d'IA en vietnamien, créées par des Vietnamiens pour servir les Vietnamiens.
C’est également l’un des facteurs importants qui favorisent le développement de l’IA générative au Vietnam pour aller plus vite, rattrapant la vague de développement de l’IA dans le monde.
Quelles sont les normes d’évaluation des compétences en langue vietnamienne ?
En conséquence, il s'agit d'un ensemble de normes d'évaluation de la langue vietnamienne à multiples facettes et à plusieurs niveaux qui répondent aux besoins les plus divers du marché vietnamien de la recherche et du développement de l'IA générative, en se concentrant sur deux parties principales : les données (ensemble de données de test) et un ensemble de normes d'évaluation, comme base pour tester les modèles d'IA appliquant la langue vietnamienne.
Plus précisément, l'ensemble de données comprend 10 880 questions à choix multiples portant sur 58 sujets différents. Chaque sujet comporte environ 200 questions et est réparti sur quatre domaines : STEM, Sciences sociales, Sciences humaines et une vaste catégorie « Élargi ». Grâce à cet ensemble de données, VMLU propose une stratification de difficulté en quatre niveaux : primaire, secondaire, lycée et formation professionnelle (université et master). À partir de là, la boîte à outils permet d'évaluer efficacement la maîtrise du vietnamien par les modèles d'IA, tant pour les connaissances de base que pour la résolution de problèmes complexes.
De plus, pour aider les groupes de recherche à évaluer facilement les capacités de leurs modèles d’IA vietnamiens, l’équipe d’ingénierie de Zalo AI a conçu des instructions afin que les groupes puissent les utiliser rapidement et simplement.
Contribuer à la communauté vietnamienne de l'IA
L'ensemble de normes VMLU est né en tant que produit de recherche visant à contribuer et à développer la communauté de recherche vietnamienne en IA en particulier et la communauté des technologies de l'information en général, sans facturer aucun utilisateur, groupe de recherche ou entreprise.
Auparavant, Zalo AI a mis en œuvre, déployé et organisé une série de compétitions et de programmes pour la communauté vietnamienne de l'IA tels que : Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... Ces activités créent non seulement un terrain de jeu pour la communauté vietnamienne de l'IA, mais encouragent également l'application de l'IA dans la vie, résolvent des problèmes sociaux urgents et répondent aux besoins de millions de Vietnamiens.
Le Dr Chau Thanh Duc, directeur du département de recherche sur l'IA de Zalo et maître de conférences à l'Université des Sciences Naturelles de l'Université Nationale de Hô-Chi-Minh -Ville, a affirmé : « Zalo AI a toujours pour objectif de contribuer à la communauté vietnamienne de l'IA, en incitant le développement de l'IA vietnamienne. À partir de là, nous attendons de plus en plus de produits d'IA conçus par des Vietnamiens, pour des Vietnamiens. »
Source
Comment (0)