L’explosion de l’IA générative a complètement changé le paysage technologique mondial.
Depuis qu'OpenAI a lancé ChatGPT fin 2022, une série de modèles LLM similaires sont apparus en continu, appliqués dans de nombreux domaines tels que la santé, l'éducation , la finance, le droit, etc. La course est devenue féroce, non seulement à l'échelle de l'entreprise mais aussi à l'échelle nationale en termes de capacité de formation, d'infrastructure informatique et de données.
De grandes entreprises comme OpenAI, Google, Meta ou Microsoft, dotées d'un potentiel financier et de conditions favorables, ont toutes « rapidement » investi des milliards de dollars pour acquérir des milliers de GPU haut de gamme comme le Nvidia H100, le facteur clé de l'entraînement des modèles LLM. Le cours de l'action Nvidia a grimpé en flèche durant cette période, reflétant la soif mondiale d'infrastructures.
Parallèlement, les entreprises technologiques des pays en développement, outre les problèmes de coûts, sont également confrontées à des restrictions sur l'importation et l'exportation d'équipements de puces d'IA en provenance des États-Unis. Cela entraîne un manque de matériel de formation et une « ralentissement » par rapport aux géants technologiques. Avec ses ambitions nationales, Zalo ne fait pas exception.
En termes de données, les problèmes d'apprentissage automatique précédents nécessitaient de grandes quantités de données d'entraînement, mais pour les modèles linguistiques volumineux, il s'agit d'une quantité colossale de données. Pour obtenir un modèle suffisamment performant, le système LLM nécessite des dizaines, voire des centaines de milliards de jetons de texte en entrée. Par ailleurs, en termes de popularité, le vietnamien n'est pas comparable à l'anglais et au chinois, ce qui a multiplié les difficultés pour les développeurs LLM vietnamiens.
En 2023, les grands modèles linguistiques (LLM) tels que GPT-3.5, GPT-4 ont pris d'assaut le monde de la technologie, et de nombreuses entreprises vietnamiennes ont également choisi des modèles affinés de fabrication étrangère pour prendre un raccourci et devancer le processus de formation LLM.
Zalo a choisi une voie différente, plus ardue, mais plus autonome : auto-former le modèle de A à Z (modèle from-scratch). Une voie qui exige de tout reconstruire de A à Z : des données à l'architecture du modèle, en passant par l'ensemble du processus de formation. Ce choix n'avait pas pour but de concurrencer les géants, mais de concrétiser l'aspiration des Vietnamiens : maîtriser le modèle LLM dans leur langue maternelle.
« Nous avons anticipé les difficultés et avons décidé de nous lancer très tôt. Nous n'avons pas concurrencé directement les géants, mais avons choisi un marché de niche où nous pouvions nous améliorer. Notre ambition est de construire un modèle entièrement maîtrisé par les Vietnamiens, des données aux algorithmes », a déclaré le Dr Nguyen Truong Son, directeur scientifique de Zalo AI.
Malgré de nombreux obstacles liés à trois facteurs principaux, à savoir les infrastructures, les données et le niveau de formation, les ingénieurs vietnamiens ont su trouver des solutions proactives pour surmonter les difficultés. Cela témoigne de l'esprit et de la volonté du peuple vietnamien dans des circonstances difficiles, notamment dans ce cas précis, en relevant les défis du développement du LLM pour les Vietnamiens.
Pour former des ingénieurs LLM, il fallait une infrastructure adaptée. Mais à cette époque, les GPU comme le H100 de Nvidia étaient quasiment des « raretés mondiales ». Entre-temps, de grandes entreprises les avaient précommandés pendant un an et avaient déboursé des millions de dollars pour les acquérir. Au Vietnam, Zalo a également tenté d'acheter huit serveurs DGX H100, mais la tâche s'est avérée ardue, car il fallait attendre chaque livraison du fabricant.
En l'absence de GPU Nvidia, les ingénieurs vietnamiens ont dû utiliser avec souplesse des GPU civils pour expérimenter chaque ligne de code et exécuter chaque petit modèle. Au lieu d'attendre, les ingénieurs ont anticipé les choses afin que tout soit prêt dès qu'ils disposeraient d'équipements modernes.
En termes de données, au lieu de s'appuyer sur les ressources disponibles, Zalo a investi dans la construction d'un entrepôt de données de haute qualité spécifiquement pour le vietnamien, afin de compenser la grave pénurie par rapport à l'anglais et au chinois.
Grâce à sa stratégie de développement flexible, Zalo a réussi à réduire le temps de développement de son modèle linguistique étendu, le faisant passer de 18 mois à 6 mois, contre 18 mois initialement prévus. Fin 2023, le modèle linguistique étendu vietnamien de Zalo a été officiellement lancé lors du Zalo AI Summit, événement réunissant la communauté leader des technologies et de l'IA au Vietnam. Le modèle LLM de Zalo a fait ses débuts lors du défi Kahoot lancé par Tinhte.vn et a étonnamment surpassé GPT 3.5, juste derrière GPT 4, le modèle LLM alors considéré comme le plus performant au monde.
Sur la plateforme d'évaluation VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models), le modèle de Zalo a atteint une capacité 1,5 fois supérieure à celle du GPT-3.5 d'OpenAI. D'ici fin 2024, ce modèle surpassera des références telles que GPT-4 (OpenAI), Gemma-2-9B (Google) ou Phi-3-small (Microsoft), se classant juste derrière le LLaMA-3-70B de Meta en termes de capacité de traitement vietnamienne dans le classement VMLU.
Zalo ne s'arrête pas seulement à la recherche, mais donne progressivement vie à la technologie du laboratoire en commercialisant et en popularisant les produits d'application du LLM.
Début 2025, l'assistant de questions-réponses Kiki Info, exploité comme compte officiel sur la plateforme Zalo, a attiré plus d'un million d'utilisateurs en moins de deux mois. Une autre application, Thiep AI, a également atteint le chiffre impressionnant de 15 millions de cartes créées et envoyées en seulement deux mois.
Le parcours de Zalo ne se limite pas à celui d'une entreprise souhaitant développer des technologies. Il s'inscrit dans un contexte plus large : le Vietnam promeut activement l'innovation, avec des politiques issues de la résolution 57-NQ/TW sur la science, le développement technologique et la transformation numérique nationale. L'intelligence artificielle est particulièrement mise en avant.
L’émergence et le développement rapide du LLM vietnamien de Zalo ne constituent pas seulement une avancée technologique pour une entreprise, mais témoignent également de la capacité inhérente et de la persévérance de l’équipe technologique vietnamienne.
Grâce à la technique « from-scratch » (formation de modèles à partir de zéro), Zalo a choisi le long chemin, mais a aidé le Vietnam à maîtriser véritablement l'IA. Non seulement en termes de résultats, mais aussi sur l'ensemble du processus, de l'architecture du modèle aux produits applicatifs, en passant par les données et les algorithmes. Le succès de Zalo a également permis au Vietnam de devenir l'un des rares pays d'Asie du Sud-Est à posséder un modèle national de LLM – une étape stratégique dans un contexte de concurrence technologique mondiale de plus en plus féroce.
Au cours du long chemin qui l'attend, Zalo ne s'arrêtera pas à un modèle ou à quelques produits, mais continuera de perfectionner le modèle pour servir les utilisateurs et créer une plateforme d'IA vietnamienne compétitive : « Le parcours de développement de l'IA de Zalo est encore long. Nous continuerons d'optimiser le modèle en profondeur et en profondeur, tout en favorisant les applications pratiques. L'objectif ultime est de créer des produits d'IA de qualité au service des Vietnamiens », a ajouté M. Son.
Le succès du LLM vietnamien développé par Zalo représente non seulement une avancée majeure pour l'entreprise, mais ouvre également un avenir prometteur à l'intelligence artificielle vietnamienne. La persévérance et l'ambition du peuple vietnamien ont permis d'atteindre des résultats probants. L'avenir de l'IA vietnamienne ne reposera pas uniquement sur un « Zalo », mais aussi sur une génération d'ingénieurs courageux qui suivront, hériteront et conquériront le monde de la technologie.
Source : https://znews.vn/zalo-va-hanh-trinh-lam-chu-llm-tieng-viet-post1561765.html
Comment (0)