Zalo AI annonce des normes d'évaluation gratuites des compétences en vietnamien

VMLU (Vietnamese Multitask Language Understanding) a été développé par Zalo AI en collaboration avec le Japan Advanced Institute of Science and Technology (JAIST) pour aider la communauté de recherche et développement en IA au Vietnam à disposer de davantage d'outils pour évaluer la qualité de sortie des modèles d'IA générative vietnamiens.

Il s’agit donc d’un ensemble de normes d’évaluation vietnamiennes à multiples facettes et à plusieurs niveaux qui répond aux besoins les plus divers du marché actuel avec 10 880 questions à choix multiples portant sur 58 sujets différents.

zalo ai.jpg — L'ensemble de normes d'évaluation des compétences en vietnamien a été étudié et développé par les ingénieurs de Zalo AI en collaboration avec JAIST pour évaluer la capacité à comprendre et à appliquer la langue vietnamienne des modèles d'IA, en particulier l'IA générative.

Pourquoi AI Vietnam a-t-il besoin d’un ensemble complet de normes d’évaluation des compétences en langue vietnamienne ?

La croissance explosive de ChatGPT a créé une nouvelle course : l’IA générative. Selon les statistiques, depuis l'introduction de ChatGPT, il existe actuellement environ 16 000 modèles similaires à ChatGPT dans le monde .

Le Vietnam n’est pas en reste dans cette tendance, puisqu’il existe de nombreux groupes de recherche avec des échelles et des potentiels différents qui souhaitent également expérimenter l’IA générative en utilisant le vietnamien. Cela a conduit à la nécessité d’un ensemble d’évaluation des compétences en vietnamien pour ces modèles d’IA afin de mesurer le niveau de connaissances et de réflexion en vietnamien.

Sur le marché actuel, la plupart des groupes de recherche LLM au Vietnam doivent créer leur propre boîte à outils d’évaluation avec leurs propres normes pour leurs modèles. Il s’agit d’évaluations internes, pas encore disponibles publiquement. L'ensemble d'évaluation de Zalo AI est destiné aux besoins généraux, peut être utilisé comme norme commune pour les modèles LLM et est fourni à la communauté de l'IA. Cela permet aux petits groupes de recherche d’accéder à des ensembles de données d’évaluation complets et de comparer les résultats entre eux. À partir de là, créez un modèle de motivation plus complet.

Motiver l'IA vietnamienne à rejoindre la vague mondiale de l'IA générative

En novembre 2023, Zalo AI a officiellement annoncé les normes d'évaluation des compétences en vietnamien de la VMLU. Il s'agit d'un ensemble de normes recherchées et développées par les ingénieurs de Zalo AI en collaboration avec JAIST pour évaluer la capacité à comprendre et à appliquer la langue vietnamienne des modèles d'IA, en particulier l'IA générative.

La naissance de VMLU a motivé des particuliers, des startups ou de petits groupes de recherche à développer de nouveaux modèles d’IA vietnamiens. Cela facilite de nouvelles recherches, jette les bases de la mesure de la précision et de la mise à niveau des résultats des modèles de base, contribuant à perfectionner le processus de développement des applications d'IA en langue vietnamienne, créées par des Vietnamiens pour servir les Vietnamiens.

C’est également l’un des facteurs importants qui favorisent le développement de l’IA générative au Vietnam pour aller plus vite, rattrapant la vague de développement de l’IA dans le monde.

Quelles sont les normes d’évaluation des compétences en langue vietnamienne ?

En conséquence, il s'agit d'un ensemble de normes d'évaluation de la langue vietnamienne à multiples facettes et à plusieurs niveaux qui répondent aux besoins les plus divers du marché vietnamien de la recherche et du développement de l'IA générative, en se concentrant sur deux parties principales : les données (ensemble de données de test) et un ensemble de normes d'évaluation, comme base pour tester les modèles d'IA appliquant la langue vietnamienne.

Plus précisément, l’ensemble de données comprend 10 880 questions à choix multiples portant sur 58 sujets différents. Chaque sujet comporte environ 200 questions et est réparti sur 4 domaines, notamment : STEM, Sciences sociales, Sciences humaines et une large catégorie « Étendue ». Avec ce bloc de données, VMLU dispose d'une stratification de difficulté avec 4 niveaux : Primaire, Secondaire, Lycée et Professionnel - pour l'université et les études supérieures. À partir de là, la boîte à outils permet d’évaluer efficacement la maîtrise de la langue vietnamienne des modèles d’IA, tant en matière de connaissances de base que de résolution de problèmes complexes.

De plus, pour aider les groupes de recherche à évaluer facilement les capacités de leurs modèles d’IA vietnamiens, l’équipe d’ingénierie de Zalo AI a conçu des instructions afin que les groupes puissent les utiliser rapidement et simplement.

Contribuer à la communauté vietnamienne de l'IA

L'ensemble de normes VMLU est né en tant que produit de recherche visant à contribuer et à développer la communauté de recherche vietnamienne en IA en particulier et la communauté des technologies de l'information en général, sans facturer aucun utilisateur, groupe de recherche ou entreprise.

Auparavant, Zalo AI a mis en œuvre, déployé et organisé une série de compétitions et de programmes pour la communauté vietnamienne de l'IA tels que : Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... Ces activités créent non seulement un terrain de jeu pour la communauté vietnamienne de l'IA, mais encouragent également l'application de l'IA dans la vie, résolvent des problèmes sociaux urgents et répondent aux besoins de millions de Vietnamiens.

Le Dr Chau Thanh Duc, directeur du département de recherche sur l'IA de Zalo et maître de conférences à l'Université des Sciences Naturelles de l'Université Nationale de Hô-Chi-Minh -Ville, a affirmé : « Zalo AI a toujours pour objectif de contribuer à la communauté vietnamienne de l'IA, en incitant le développement de l'IA vietnamienne. À partir de là, nous attendons de plus en plus de produits d'IA conçus par des Vietnamiens, pour des Vietnamiens. »

Source