L'application du modèle d'IA vietnamien attire des millions de visites.

Développé par l'équipe d'ingénieurs vietnamienne de Zalo, le modèle de langage à grande échelle, doté de 13 milliards de paramètres, alimente une série d'applications pratiques qui attirent chaque mois un grand nombre d'utilisateurs. Parmi elles, l'assistant de questions-réponses complet Kiki Info, fonctionnant comme un compte officiel (OA) sur Zalo, se distingue. Il propose trois fonctionnalités : des questions-réponses sur divers sujets tels que les sciences, l'histoire, le code de la route, etc. ; la création de contenu (rédaction d'essais, composition d'e-mails, publication sur les réseaux sociaux) ; et des suggestions de voyages, de musique , de livres, etc., pour se divertir.

Les statistiques de l'équipe de développement montrent que cet assistant a permis à près d'un million d'utilisateurs d'accéder à leur compte officiel Zalo (OA) en moins de deux mois.

Kiki Info est intégré à la plateforme de messagerie Zalo.

Parmi les autres applications développées grâce au vaste modèle linguistique de Zalo, on trouve les cartes de vœux IA, qui ont désormais atteint 15 millions de cartes créées et envoyées par les utilisateurs. Ces données, recueillies sur une période de deux mois, montrent que les utilisateurs ont recours aux cartes de vœux IA pour adresser leurs vœux à leurs proches lors d'occasions importantes.

Ces applications sont très appréciées des utilisateurs pour leur interface intuitive, qui permet de gagner du temps dans les recherches et les prises de décision. Elles rendent également les échanges avec les autres plus agréables et enrichissants.

Le modèle LLM de Zalo est développé à l'aide d'une technique d'entraînement croisé – mettant en œuvre tous les processus, de l'initialisation des paramètres et de la prise de décision concernant l'architecture du modèle à l'entraînement des algorithmes sur un ensemble de données donné, permettant aux utilisateurs vietnamiens de maîtriser et de contrôler pleinement le processus d'entraînement et le modèle.

Fin 2024, le modèle LLM de Zalo s'est hissé à la deuxième place du classement VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models), une plateforme d'évaluation et de classement des performances en vietnamien des modèles de langage. Plus précisément, ce modèle a atteint la deuxième place du classement des modèles entraînés à partir de zéro, juste derrière Llama-3-70B de Meta, surpassant ainsi des modèles de référence tels que GPT-4 (OpenAI), gemma-2-9b-it (Google) et microsoft/Phi-3-small-128k-instruct (Microsoft).

Le classement 2024 des LLM construits à partir de zéro, avec le modèle LLM de Zalo dans le Top 2.

Ce fut un immense succès pour un langage de programmation à grande échelle développé par des Vietnamiens, surtout compte tenu des nombreuses limitations auxquelles il a dû faire face à ses débuts. Alors que les grandes entreprises du monde entier possédaient des milliers de GPU Nvidia de dernière génération, au Vietnam, les ingénieurs ne disposaient pas encore, à cette époque, de l'infrastructure serveur nécessaire.

Parallèlement, le vietnamien figure parmi les langues dont les ressources en données sont des dizaines de fois moins importantes que celles de l'anglais ou du chinois. De plus, le Vietnam souffre de lacunes en matière de ressources humaines et d'expérience dans la formation des titulaires de masters en droit (LLM), comparativement aux pays développés.

Zalo avait mis en place une stratégie de développement visant à pallier les limitations de son environnement de formation par rapport au reste du monde. En équipant son infrastructure informatique de 8 serveurs DGX H100, le modèle LLM a été développé directement à l'aide des GPU les plus récents et les plus rares de Nvidia à l'époque, avec des performances atteignant 256 pétaFLOPS (opérations en virgule flottante par seconde – un pétaFLOPS équivaut à 10 quadrillions de calculs par seconde).

Le système serveur de Zalo possède des capacités de traitement supérieures.

Parallèlement, des investissements ont été réalisés dans le développement de données d'entraînement de haute qualité afin de pallier la pénurie de sources de données en langue vietnamienne. Grâce à une série d'études menées sur des GPU grand public de petite taille, les ingénieurs de Zalo ont également profité de l'occasion pour acquérir des connaissances et des compétences en matière de modélisation linguistique, jetant ainsi les bases nécessaires pour leur future infrastructure de calcul à grande échelle.

Grâce à une stratégie de développement pertinente, Zalo a réussi à créer un modèle de langage à grande échelle, doté de 7 milliards de paramètres et dédié au vietnamien, en seulement six mois d'entraînement en 2023. Ce modèle atteint des performances 150 % supérieures à celles de GPT-3.5 d'OpenAI sur le benchmark VMLU. Actuellement, il surpasse de nombreux leaders mondiaux au classement VMLU 2024 et met son modèle de recherche à la disposition de la communauté.

Lors de son lancement en 2023, le modèle LLM de Zalo était en concurrence avec toute une gamme de modèles mondiaux tels que ChatGPT 3.5, ChatGPT 4.0, Llama, PhoGPT et un acteur réel.

Selon Zalo, le modèle LLM continuera de bénéficier d'investissements dans la formation afin de proposer aux utilisateurs davantage d'applications d'IA de pointe. Cela leur permettra de maîtriser les technologies d'IA avancées, ouvrant ainsi la voie à une nouvelle ère de développement technologique pour le pays, avec une orientation novatrice vers la science , la technologie, l'innovation et la transformation numérique nationale.

Source : https://znews.vn/ung-dung-cua-mo-hinh-ai-viet-dang-thu-hut-hang-trieu-luot-truy-cap-post1563330.html