L'intérêt mondial pour l'IA ne cesse de croître, l'attention se concentrant principalement sur les pays qui possèdent des modèles d'IA parmi les plus performants au monde, comme les États-Unis et la Chine. L'Asie du Sud-Est, l'une des régions économiques les plus importantes au monde, devient progressivement un nouveau pôle d'attraction pour l'IA, avec des avancées majeures susceptibles d'intéresser les décideurs politiques, les investisseurs et les experts technologiques du monde entier.
Au Vietnam, le Parti et le gouvernement sont également déterminés à façonner et à promouvoir l'ère du développement technologique du pays, comme le démontre la résolution 57-NQ/TW sur les avancées scientifiques et technologiques, l'innovation et la transformation numérique nationale. Cette orientation a incité les entreprises technologiques nationales à investir et à exploiter le potentiel des technologies de pointe mondiales.
Le Vietnam est aujourd'hui l'un des rares pays d'Asie du Sud-Est à disposer d'un modèle national de formation linguistique à grande échelle (LLM). Plus précisément, depuis 2023, Zalo a formé et lancé avec succès un modèle de LLM axé sur le vietnamien, entièrement développé par une équipe d'ingénieurs vietnamiens.
Choisissez une formation à partir de zéro et obtenez des résultats inattendus
Actuellement, les modèles d'IA disposent de deux techniques de formation, notamment : la technique de modèle affiné, qui consiste à optimiser les LLM précédemment formés pour créer de nouveaux LLM à des fins spécialisées ; la technique de formation de modèle à partir de zéro, qui consiste à créer un modèle entièrement nouveau, depuis l'initialisation des paramètres, la décision sur l'architecture du modèle jusqu'à l'algorithme de formation sur un certain ensemble de données.
Parmi elles, les techniques de réglage fin sont choisies par de nombreuses entreprises en raison de leurs avantages, tels que la facilité de mise en œuvre, l'économie de ressources et l'amélioration de l'efficacité. Dans le contexte vietnamien, où les équipements et les données de formation sont limités, ces techniques constituent une solution optimale.
Cependant, Zalo a choisi cette technique de formation dès le départ. Grâce à cette méthode, l'ensemble du processus et du modèle de formation sont entièrement contrôlés par les Vietnamiens. Grâce à cela, le Vietnam est devenu l'un des rares pays d'Asie du Sud-Est à posséder un modèle linguistique de grande envergure (LLM) développé localement.
Lors de son lancement en 2023, le premier modèle linguistique à grande échelle de Zalo, axé sur le vietnamien et comptant 7 milliards de paramètres, a obtenu des performances de 150 % par rapport au GPT3.5 d'OpenAI sur le benchmark de compétences LLM vietnamien de la VMLU. La durée de la formation n'a été que de 6 mois, bien inférieure aux 18 mois initialement prévus. Cette rapidité de formation a surpris toute l'équipe de développement de Zalo.
Le modèle LLM de Zalo s'est classé 3e au défi Kahoot lors de son premier lancement en 2023 (Photo : Zalo).
En 2024, le modèle de 13 milliards de paramètres de Zalo a dépassé les grands noms mondiaux pour affirmer sa position parmi les 2 meilleurs modèles LLM vietnamiens formés à partir de zéro dans le classement des compétences LLM vietnamiennes de VMLU.
Les résultats montrent que le niveau de formation des grands modèles linguistiques n'est pas inférieur à celui du monde pour développer un modèle d'IA propre au Vietnam, en particulier dans le contexte d'un développement initial confronté à de nombreuses difficultés.
Les efforts vietnamiens pour développer des modèles d'IA
Le représentant de Zalo a déclaré que la formation en LLM nécessite trois éléments fondamentaux : le matériel de formation, les données et le niveau technique. Auparavant, le Vietnam présentait encore de nombreuses limitations sur ces trois aspects. Plus précisément, alors que les grandes entreprises mondiales possédaient des milliers de GPU hautes performances Nvidia de dernière génération, les ingénieurs vietnamiens ne disposaient pas de l'infrastructure serveur nécessaire. Par ailleurs, le vietnamien se classe parmi les pays où les ressources en données sont plus faibles que l'anglais ou le chinois. Les ressources humaines et l'expérience en matière de formation en LLM au Vietnam sont également limitées par rapport aux pays développés.
L'équipe Zalo devait alors effectuer des recherches et des expérimentations sur de petits GPU civils pour acquérir des connaissances et des capacités de formation pour le LLM, prêtes dès qu'une grande infrastructure informatique serait disponible.
Les puces d'entraînement d'IA étant rares, Zalo a commandé huit serveurs Nvidia DGX H100, mais ne peut pas gérer tous les appareils simultanément et doit attendre la livraison de chaque lot du fabricant. L'optimisation de l'infrastructure informatique incomplète afin de gagner du temps pour l'entraînement est donc un problème que l'équipe Zalo doit résoudre.
Parallèlement, des données de formation de qualité sont également investies pour compenser le manque de sources de données vietnamiennes.
Bien que parti d'une position difficile par rapport aux grandes entreprises mondiales, Zalo a néanmoins décidé de se lancer dans la course avec l'objectif de développer avec succès son propre modèle d'IA au Vietnam. Nous avons consulté des chercheurs et des ingénieurs de nombreux instituts de recherche de premier plan dans le monde afin d'élaborer une stratégie de développement adaptée.
« Les succès actuels motivent les ingénieurs de Zalo à continuer d'optimiser le modèle pour en augmenter la quantité et la qualité. Parallèlement, ils exploitent ses possibilités d'application pour créer de nombreux produits d'IA de classe mondiale destinés aux utilisateurs vietnamiens », a expliqué le Dr Nguyen Truong Son, directeur scientifique de Zalo AI.
Serveur DGX H100 commandé par Zalo auprès de Nvidia (Photo : Zalo).
Grâce à une adaptation flexible dans les premières étapes difficiles du développement, Zalo a progressivement franchi des étapes décisives, progressant vers la maîtrise de la technologie mondiale de l'IA telle qu'elle est aujourd'hui.
Actuellement, le modèle d’IA de Zalo est non seulement efficace en termes de recherche en formation, mais également appliqué, favorisant l’accès et l’exploitation de la valeur des nouvelles technologies avancées pour le peuple vietnamien.
Plus tôt cette année, Zalo a lancé l'assistant Kiki Info Q&A, exploité comme un compte officiel (OA) sur la plateforme de messagerie Zalo. Cet assistant permet de poser des questions-réponses sur divers sujets de la vie, de la création de contenu et du divertissement. Selon les statistiques de Zalo, l'assistant Kiki Info a compté un million d'utilisateurs accédant au compte OA sur Zalo en moins de deux mois.
Le modèle LLM de Zalo est appliqué pour développer Kiki Info Assistant (Photo : Zalo).
Une autre application du modèle LLM de Zalo est la création de cartes IA, qui a également atteint le cap des 15 millions de cartes créées et envoyées en seulement deux mois. Cette application intéresse de nombreux utilisateurs de Zalo pour souhaiter des vœux à leurs proches à l'occasion des fêtes importantes.
Actuellement, les applications issues de grands modèles linguistiques continuent d'être étendues et développées par Zalo, promettant d'apporter de nombreuses valeurs utiles aux utilisateurs nationaux.
Source : https://dantri.com.vn/cong-nghe/zalo-phat-trien-mo-hinh-ai-do-nguoi-viet-lam-chu-20250616161352610.htm
Comment (0)