Zalo développe un modèle d'IA appartenant à des Vietnamiens

(Dan Tri) – Fortement axée sur le développement technologique, Zalo est une entreprise vietnamienne qui a développé avec succès un modèle d'IA national. Le Vietnam devient ainsi l'un des rares pays d'Asie du Sud-Est à posséder un modèle d'IA entraîné de A à Z.

L’intérêt mondial pour l’IA croît, et l’attention se concentre principalement sur les pays possédant de nombreux modèles d’IA de pointe, comme les États-Unis et la Chine. L’Asie du Sud-Est, l’une des principales régions économiques mondiales, devient progressivement un nouveau pôle d’attraction pour l’IA, avec des avancées majeures susceptibles d’intéresser les décideurs politiques, les investisseurs et les experts en technologies du monde entier.

Le Vietnam possède déjà un modèle d'IA national, l'un des rares modèles d'IA développés à partir de zéro dans la région de l'Asie du Sud-Est aujourd'hui (Photo : Zalo).

Au Vietnam, le Parti et le Gouvernement sont également déterminés à façonner et à promouvoir l'ère du développement technologique du pays, comme en témoigne la résolution 57-NQ/TW relative aux avancées majeures en matière de développement scientifique et technologique, d'innovation et de transformation numérique nationale. Cette orientation a fortement incité les entreprises technologiques nationales à investir et à exploiter le potentiel des technologies mondiales de pointe.

Le Vietnam fait désormais partie des rares pays d'Asie du Sud-Est à posséder un modèle linguistique national à grande échelle (LLM). Plus précisément, depuis 2023, Zalo a formé et déployé avec succès un modèle LLM dédié au vietnamien, entièrement conçu et développé par une équipe d'ingénieurs vietnamiens.

Choisissez une formation dès le départ et obtenez des résultats inattendus

Actuellement, les modèles d'IA disposent de deux techniques d'entraînement : la technique du modèle affiné, qui consiste à optimiser des LLM précédemment entraînés pour créer de nouveaux LLM à des fins spécialisées ; et la technique d'entraînement de modèle à partir de zéro, qui consiste à construire un modèle entièrement nouveau, depuis l'initialisation des paramètres, le choix de l'architecture du modèle jusqu'à l'algorithme d'entraînement sur un ensemble de données donné.

Parmi ces techniques, les méthodes de réglage fin sont privilégiées par de nombreuses entreprises en raison de leurs avantages tels que leur facilité de mise en œuvre, les économies de ressources qu'elles permettent et une meilleure efficacité. Dans le contexte vietnamien, où les équipements et les données de formation sont limités, les méthodes de réglage fin constituent une solution particulièrement pertinente.

Cependant, Zalo a opté pour cette technique de formation dès le départ. Grâce à cette méthode, l'ensemble du processus et du modèle de formation sont entièrement conçus et contrôlés par des Vietnamiens. De ce fait, le Vietnam est devenu l'un des rares pays d'Asie du Sud-Est à posséder un modèle linguistique étendu (LLM) développé localement.

Lors de son lancement en 2023, le premier modèle de langage à grande échelle de Zalo, doté de 7 milliards de paramètres et dédié au vietnamien, a atteint des performances 150 % supérieures à celles de GPT-3.5 d'OpenAI sur le banc d'essai VMLU pour l'évaluation des compétences en langue vietnamienne. L'entraînement n'a duré que 6 mois, soit bien moins que les 18 mois initialement prévus. Cette rapidité d'exécution a surpris toute l'équipe de développement de Zalo.

Le modèle LLM de Zalo s'est classé 3ème au défi Kahoot lors de son premier lancement en 2023 (Photo : Zalo).

En 2024, le modèle de Zalo, doté de 13 milliards de paramètres, surpassera les grands noms mondiaux pour affirmer sa position parmi les 2 meilleurs modèles vietnamiens de LLM entraînés à partir de zéro selon le classement des compétences en LLM vietnamien de VMLU.

Les résultats montrent que le niveau d'entraînement des grands modèles de langage n'est pas inférieur à celui des autres pays pour développer un modèle d'IA vietnamien, notamment compte tenu des difficultés de développement initiales.

Les efforts vietnamiens pour développer des modèles d'IA

Un représentant de Zalo a déclaré que la formation LLM requiert trois éléments essentiels : le matériel de formation, les données et le niveau technique. Auparavant, au Vietnam, de nombreuses limitations subsistaient dans ces trois domaines. Concrètement, alors que les grandes entreprises internationales possèdent des milliers de GPU Nvidia de dernière génération et hautes performances, les ingénieurs vietnamiens ne disposent toujours pas de l’infrastructure serveur nécessaire. Par ailleurs, le Vietnam se classe parmi les pays disposant de moins de ressources en données que l’anglais ou le chinois. Enfin, ses ressources humaines et son expérience en matière de formation LLM restent limitées par rapport aux pays développés.

L'équipe Zalo a dû à l'époque effectuer des recherches et des expériences sur de petits GPU civils afin d'acquérir les connaissances et les capacités de formation LLM nécessaires pour être prête dès que les infrastructures informatiques de grande envergure seraient disponibles.

Les puces d'entraînement pour l'IA étant rares, Zalo, bien qu'ayant commandé huit serveurs Nvidia DGX H100, ne peut les recevoir simultanément et doit attendre chaque lot de livraison du fabricant. Par conséquent, l'optimisation de cette infrastructure informatique incomplète afin de réduire le temps d'entraînement constitue un autre défi pour l'équipe Zalo.

Dans le même temps, des investissements sont également réalisés dans des données d'entraînement de qualité afin de compenser la pénurie de sources de données vietnamiennes.

« Bien que le point de départ fût difficile par rapport aux grandes entreprises mondiales, Zalo a néanmoins décidé de se lancer dans la course avec l'objectif de développer avec succès un modèle d'IA vietnamien. Nous avons consulté des chercheurs et des ingénieurs de nombreux instituts de recherche de premier plan à travers le monde afin d'élaborer une stratégie de développement adaptée. »

« Les succès obtenus jusqu'à présent motivent les ingénieurs de Zalo à poursuivre l'optimisation du modèle afin d'accroître sa portée et d'améliorer sa qualité. Parallèlement, ils souhaitent exploiter son potentiel pour créer de nombreux produits d'IA de pointe destinés aux utilisateurs vietnamiens », a déclaré le Dr Nguyen Truong Son, directeur scientifique de Zalo AI.

Serveur DGX H100 commandé par Zalo chez Nvidia (Photo : Zalo).

Grâce à une adaptation flexible lors des premières étapes difficiles de son développement, Zalo a progressivement franchi des étapes importantes, progressant vers la maîtrise de la technologie d'IA mondiale telle qu'elle est aujourd'hui.

Actuellement, le modèle d'IA de Zalo est non seulement couronné de succès en matière de recherche et de formation, mais il est également appliqué, favorisant l'accès et l'exploitation des avantages des nouvelles technologies de pointe pour le peuple vietnamien.

Plus tôt cette année, Zalo a lancé l'assistant de questions-réponses Kiki Info, qui fonctionne comme un compte officiel (OA) sur sa plateforme de messagerie. Cet assistant permet de poser des questions sur divers sujets liés à la vie quotidienne, à la création de contenu et au divertissement. Selon les statistiques de Zalo, l'assistant Kiki Info a enregistré près d'un million de visites sur le compte OA en moins de deux mois.

Le modèle LLM de Zalo est appliqué pour développer Kiki Info Assistant (Photo : Zalo).

Une autre application du modèle LLM de Zalo concerne les cartes IA, qui ont également franchi le cap des 15 millions de cartes créées et envoyées en seulement deux mois. Cette application intéresse de nombreux utilisateurs de Zalo qui souhaitent envoyer leurs vœux à leurs proches lors des fêtes importantes.

Actuellement, Zalo continue d'étendre et de développer des applications issues de grands modèles de langage, promettant d'apporter de nombreuses valeurs ajoutées aux utilisateurs nationaux.

Source : https://dantri.com.vn/cong-nghe/zalo-phat-trien-mo-hinh-ai-do-nguoi-viet-lam-chu-20250616161352610.htm