Zalo AI et JAIST Institute s'associent à la communauté pour développer un LLM avancé

Zalo AI et le Japan Advanced Institute of Science and Technology (JAIST) viennent d'annoncer un ensemble de normes pour évaluer les compétences de raisonnement et d'interaction des LLM, accompagnant la communauté vietnamienne de l'IA dans le perfectionnement des modèles LLM de haut niveau.

L'intelligence artificielle (IA) connaît un développement fulgurant et ouvre des perspectives sans précédent grâce aux avancées majeures de la recherche sur les modèles d'IA. Ces avancées créent les conditions propices à la promotion d'applications et au développement de produits répondant à des besoins concrets. Au Vietnam, juste après le développement fulgurant de ChatGPT, qui a donné naissance à une série de modèles d'IA similaires à l'échelle mondiale, des groupes de recherche nationaux d'envergure et de potentiel divers se sont lancés dans la course en élaborant des modèles de langage à grande échelle (MLH) vietnamiens.

La prolifération des modèles LLM vietnamiens nécessite un ensemble de critères d’évaluation généraux pour aider les développeurs à mesurer la qualité du modèle afin d’avoir des stratégies de formation appropriées.

Le Dr Nguyen Truong Son, directeur scientifique de Zalo AI, le développeur de la plateforme, a évalué le LLM vietnamien de VMLU : « Le marché vietnamien manque de normes d'évaluation de la qualité par rapport au reste du monde. »

La plateforme d'évaluation VMLU LLM a été développée par Zalo AI et le Japan Advanced Institute of Science and Technology (JAIST).

Selon le Dr Nguyen Truong Son, cette réalité exige que la communauté vietnamienne de l'IA s'unisse pour créer des normes communes afin d'aider à évaluer correctement et adéquatement les modèles d'IA vietnamiens, créant ainsi une base pour le développement de modèles de qualité toujours meilleure.

Promouvoir le développement de nouvelles normes de qualité

En novembre 2023, Zalo AI et l'Institut japonais avancé des sciences et technologies (JAIST) collaboreront pour élaborer et proposer gratuitement à la communauté un ensemble de normes d'évaluation de la qualité des modèles LLM vietnamiens, appelé VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models). Il s'agit du premier ensemble de normes « Made in Vietnam » élaboré et mis à la disposition de la communauté par une équipe d'experts vietnamiens de premier plan.

Au lieu de devoir créer leurs propres outils d’évaluation avec leurs propres normes, les groupes de recherche LLM vietnamiens ont pu accéder à un ensemble de données d’évaluation complet et général.

Les normes de la VMLU se concentrent sur quatre domaines, dont les STEM (sciences, technologie, ingénierie et mathématiques), les sciences sociales, les sciences humaines et la vulgarisation, avec des niveaux de difficulté croissants : primaire, secondaire, lycée et formation professionnelle (licence et master). Avec 10 880 questions à choix multiples couvrant 58 sujets et réparties en plusieurs niveaux, la version 2023 a permis d'évaluer efficacement les connaissances de base du LLM.

Fin 2024, la VMLU avait publié 45 LLM dans son classement, reçu des demandes d'évaluation de plus de 155 organisations et particuliers, et compilé 691 téléchargements des critères d'évaluation et 3 729 évaluations de LLM depuis la plateforme. De nombreuses organisations nationales et étrangères utilisent les standards de la VMLU, telles que VinBigData, VNPT AI, Viettel Solutions, l'Université de technologie de Hô-Chi-Minh-Ville (VNU), UONLP x Ontocord (Université de l'Oregon, États-Unis), DAMO Academy (Groupe Alibaba), SDSRV teams (Samsung).

Dans la nouvelle phase, les modèles LLM sont fortement mis à niveau, nécessitant des repères pour évaluer plus en profondeur les compétences complexes.

« Les modèles de LLM deviennent plus intelligents, presque entièrement capables de comprendre et de répondre correctement aux questions. C'est pourquoi les développeurs s'attachent davantage à doter les LLM de capacités diversifiées, telles que la compréhension écrite, la planification, le dialogue et le raisonnement, similaires à ceux des humains », a déclaré le professeur Nguyen Le Minh, du Japan Advanced Institute of Science and Technology (JAIST), partenaire de Zalo AI dans le développement du système d'évaluation VMLU.

En réponse aux besoins de plus en plus diversifiés des développeurs, VMLU a récemment lancé un nouvel ensemble de normes pour évaluer 3 compétences, dont (1) la compréhension de lecture (ViSQuAD), (2) le raisonnement (ViDrop) et (3) l'interaction (ViDialog).

Normes VMLU 2025.

Le nouvel ensemble de normes a été lancé sur le site Web de VMLU https://vmlu.ai/ pour permettre aux particuliers et aux groupes de recherche d'évaluer leurs modèles.

Efforts pour accompagner la communauté de maîtrise de l'IA

Les experts de la VMLU ont déclaré qu'ils continueraient à rechercher et à créer des ensembles d'évaluation plus diversifiés dans différents domaines avec différents niveaux de difficulté pour évaluer les grands modèles linguistiques de manière plus complète et refléter avec précision les modèles d'utilisation des utilisateurs.

En outre, la VMLU vise également à développer un ensemble de normes d’évaluation pour la sécurité et l’intégrité du modèle LLM afin de garantir que les LLM vietnamiens soient développés de manière responsable.

Afin de promouvoir la capacité et l'esprit de maîtrise des nouvelles technologies du peuple vietnamien, les normes d'évaluation de la VMLU continueront d'être fournies gratuitement à la communauté de recherche LLM vietnamienne.

Les normes VMLU 2025 ont été mises à jour sur le site Web de VMLU.

En tant que pionnier dans le domaine de l'intelligence artificielle au Vietnam, Zalo AI accompagne également toujours la communauté dans la recherche et le développement de solutions d'IA pour les utilisateurs vietnamiens.

Outre la plateforme d'évaluation et de classement des capacités des principaux modèles linguistiques vietnamiens, Zalo AI organise depuis 2017 le Zalo AI Challenge et le forum annuel Zalo AI Summit. Ces événements permettent non seulement de connecter la communauté vietnamienne de l'IA, mais contribuent également à inspirer et à promouvoir la création de produits technologiques d'IA par les Vietnamiens, au service de la population vietnamienne.

Source : https://znews.vn/zalo-ai-vien-jaist-dong-hanh-cung-cong-dong-phat-trien-llm-bac-cao-post1589913.html