Zalo et le parcours pour surmonter les obstacles et conquérir les aspirations nationales

Alors que le monde observe les progrès rapides des superpuissances dans le domaine de l'IA, l'équipe d'ingénierie technologique de Zalo se lance dans un projet ambitieux : maîtriser l'intelligence artificielle en vietnamien.

L'essor de l'intelligence artificielle générative (IA générative) a complètement bouleversé le paysage technologique mondial.

Depuis le lancement de ChatGPT par OpenAI fin 2022, une série de modèles LLM similaires ont vu le jour, appliqués dans de nombreux domaines tels que la santé, l'éducation , la finance, le droit... La course est devenue féroce, non seulement à l'échelle de l'entreprise, mais aussi à l'échelle nationale en termes de capacité d'entraînement, d'infrastructure informatique et de données.

De grandes entreprises comme OpenAI, Google, Meta ou Microsoft, disposant de ressources financières importantes et de conditions favorables, ont toutes investi rapidement des milliards de dollars pour acquérir des milliers de GPU haut de gamme, tels que les Nvidia H100, éléments essentiels à l'entraînement des modèles LLM. Le cours de l'action Nvidia a explosé durant cette période, témoignant de la forte demande mondiale en infrastructures.

Parallèlement, les entreprises technologiques des pays en développement, outre les problèmes de coûts, sont confrontées à des restrictions sur l'importation et l'exportation de puces d'IA en provenance des États-Unis. Il en résulte un manque d'équipements de formation et un retard par rapport aux géants de la technologie. Zalo, qui ambitionne un marché national, ne fait pas exception.

En matière de données, les problèmes d'apprentissage automatique classiques nécessitaient d'importantes quantités de données d'entraînement, mais pour les grands modèles de langage, il s'agit d'une quantité colossale. Pour obtenir un modèle suffisamment performant, un système de modélisation du langage requiert des dizaines, voire des centaines de milliards de jetons de texte en entrée. Par ailleurs, en termes de popularité, le vietnamien n'atteint pas le même niveau que l'anglais et le chinois. Ce facteur a considérablement complexifié la tâche des développeurs de modèles de langage vietnamiens.

En 2023, les grands modèles de langage (LLM) tels que GPT-3.5 et GPT-4 ont fait sensation dans le monde de la technologie, et de nombreuses entreprises vietnamiennes ont également choisi des modèles étrangers finement réglés pour prendre un raccourci et prendre de l'avance dans le processus de formation des LLM.

Zalo a opté pour une voie différente, plus ardue mais aussi plus autonome : l’auto-apprentissage du modèle à partir de zéro. Une voie qui exige de tout construire de A à Z, des données à l’architecture du modèle en passant par l’ensemble du processus d’entraînement. Ce choix n’était pas motivé par la volonté de rivaliser avec les géants du secteur, mais par le désir du peuple vietnamien de maîtriser le modèle LLM dans sa langue maternelle.

« Nous avions anticipé les difficultés et avons néanmoins décidé d'entrer très tôt sur le marché. Nous n'avons pas cherché à concurrencer directement les géants du secteur, mais avons choisi un créneau où nous pouvions exceller. Notre ambition est de créer un modèle entièrement maîtrisé par les Vietnamiens, des données aux algorithmes », a expliqué le Dr Nguyen Truong Son, directeur scientifique de Zalo AI.

Malgré de nombreux obstacles liés à trois facteurs principaux (infrastructures, données et niveau de formation), les ingénieurs vietnamiens ont su trouver des solutions proactives pour surmonter les difficultés. Ceci témoigne de la force de caractère et de la détermination du peuple vietnamien face à l'adversité, notamment dans le cadre du développement d'un master en droit (LLM) destiné aux Vietnamiens.

Pour former les ingénieurs en gestion de l'information (LLM), il leur fallait une infrastructure adaptée. Or, à cette époque, les GPU comme le H100 de Nvidia étaient quasiment introuvables. Les grandes entreprises les avaient précommandés un an à l'avance et avaient déboursé des millions de dollars pour se les procurer. Au Vietnam, Zalo a également tenté d'acquérir huit serveurs DGX H100, mais la tâche s'est avérée ardue, car il fallait attendre chaque lot de livraison du fabricant.

Faute de GPU Nvidia, les ingénieurs vietnamiens ont dû utiliser avec ingéniosité des GPU grand public pour tester chaque ligne de code et exécuter chaque petit modèle. Au lieu d'attendre, ils se sont préparés proactivement afin que tout soit prêt dès l'acquisition d'équipements modernes.

En matière de données, au lieu de s'appuyer sur les ressources disponibles, Zalo a investi dans la construction d'un entrepôt de données de haute qualité spécifiquement destiné au vietnamien, afin de pallier la grave pénurie par rapport à l'anglais et au chinois.

Grâce à sa stratégie de développement flexible, Zalo a réussi à réduire le délai de développement de son modèle de langage étendu de 18 à 6 mois. Fin 2023, le modèle vietnamien de Zalo a été officiellement lancé lors du Zalo AI Summit, un événement réunissant les principaux acteurs des technologies et de l'IA au Vietnam. À cette occasion, le modèle a fait ses débuts lors du défi Kahoot organisé par Tinhte.vn et a surpris tout le monde en surpassant GPT-3.5, se classant juste derrière GPT-4, alors considéré comme le modèle de langage étendu le plus performant au monde.

D'après la plateforme d'évaluation VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models), le modèle de Zalo est 1,5 fois plus puissant que GPT-3.5 d'OpenAI. D'ici fin 2024, ce modèle surpassera des références telles que GPT-4 (OpenAI), Gemma-2-9B (Google) ou Phi-3-small (Microsoft), et ne sera devancé que par LLaMA-3-70B de Meta en termes de capacité de traitement du vietnamien dans le classement VMLU.

Zalo ne se contente pas de la recherche, elle donne progressivement vie à la technologie issue du laboratoire en commercialisant et en popularisant les produits d'application issus de LLM.

Début 2025, l'assistant de questions-réponses Kiki Info, fonctionnant comme un compte officiel sur la plateforme Zalo, a attiré plus d'un million d'utilisateurs en moins de deux mois. Une autre application, Thiep AI, a également atteint le chiffre impressionnant de 15 millions de cartes créées et envoyées en seulement deux mois.

Le parcours de Zalo ne se résume pas à la simple volonté d'une entreprise de développer des technologies. Il s'inscrit dans un contexte plus large : celui d'une politique vietnamienne de promotion active de l'innovation, notamment grâce à la résolution 57-NQ/TW relative au développement scientifique et technologique et à la transformation numérique nationale. L'intelligence artificielle y occupe une place prépondérante.

L'émergence et le développement rapide du LLM vietnamien de Zalo constituent non seulement un progrès technologique pour l'entreprise, mais témoignent également des capacités intrinsèques et de la persévérance de l'équipe technologique vietnamienne.

En optant pour une approche « à partir de zéro » – la formation de modèles à partir de zéro –, Zalo a choisi la voie la plus longue, mais a permis au Vietnam de maîtriser véritablement l’IA. Non seulement en termes de résultats, mais aussi en termes de processus complet, de l’architecture du modèle aux données, aux algorithmes et aux applications. Le succès de Zalo a également permis au Vietnam de devenir l’un des rares pays d’Asie du Sud-Est à posséder un modèle LLM national – une étape stratégique dans un contexte de concurrence technologique mondiale de plus en plus féroce.

Dans le long chemin qui l'attend, Zalo ne se contentera pas d'un seul modèle ou de quelques produits, mais continuera de perfectionner ce modèle afin de mieux servir ses utilisateurs et de créer une plateforme d'IA vietnamienne de haute qualité et compétitive : « Le développement de l'IA chez Zalo est encore loin d'être terminé. Nous poursuivrons l'optimisation du modèle, tant en termes d'étendue que de profondeur, tout en favorisant son application concrète. Notre objectif ultime est de créer des produits d'IA de qualité qui répondent aux besoins réels des Vietnamiens », a ajouté M. Son.

Le succès de Zalo dans le développement du LLM vietnamien représente non seulement une avancée majeure pour l'entreprise, mais ouvre également des perspectives prometteuses pour l'intelligence artificielle vietnamienne. La persévérance et l'ambition du peuple vietnamien ont permis d'atteindre ce résultat remarquable. L'avenir de l'IA vietnamienne ne se résume pas à Zalo : il repose sur une génération d'ingénieurs audacieux qui prendront la relève et façonneront le monde de la technologie.

Source : https://znews.vn/zalova-hanh-trinh-lam-chu-llm-tieng-viet-post1561765.html