Le « monstre d'IA » de Baidu, ERNIE 5.1, fonctionne à des coûts inférieurs de 94 %.

ERNIE, le logiciel phare de Baidu, récemment mis à jour en version 5.1, impressionne la communauté technologique mondiale par ses capacités de réduction des coûts sans précédent.

Au milieu d'une course mondiale à l'intelligence artificielle qui dépense des milliards de dollars en puissance de calcul, Baidu, souvent surnommé le « Google chinois », a créé la surprise en lançant officiellement son modèle de langage ERNIE 5.1.

L'aspect le plus remarquable réside non seulement dans ses capacités de traitement supérieures, mais aussi dans son rapport coût -efficacité impressionnant : le coût de formation de ce modèle est environ 94 % inférieur à celui des systèmes d'IA de taille similaire. Ceci représente une solution novatrice au problème de l'optimisation des ressources pour la prochaine génération d'IA.

Technologie de compression de réseau et stratégie « former une seule fois, former tous les utilisateurs ».

Pour comprendre pourquoi Baidu a pu réduire ses coûts à un degré aussi incroyable, il faut examiner comment ils ont construit ERNIE 5.1.

Au lieu de suivre la voie traditionnelle consistant à entraîner un modèle entièrement nouveau à partir de zéro, Baidu a adopté une méthode de « pré-entraînement élastique multidimensionnel ». Concrètement, ERNIE 5.1 ​​n'est pas une entité totalement indépendante, mais a été développé sur la base de son prédécesseur, ERNIE 5.0 (lancé en janvier 2026).

Baidu a utilisé un cadre d'entraînement flexible appelé « Once-For-All ». Au lieu d'effectuer des entraînements distincts et coûteux pour chaque taille de modèle, l'entreprise optimise une « famille » entière de modèles de tailles variées en une seule opération.

La méthode de formation « élasticité multidimensionnelle » réduit le coût d'Ernie 5.1 de 94 %.

Ces modèles partagent les mêmes pondérations, mais diffèrent par leur profondeur, leur étendue et le nombre de blocs experts activés. À partir de l'architecture massive d'ERNIE 5.0, qui compte environ 2 400 milliards de paramètres, Baidu a extrait un sous-réseau optimisé pour créer ERNIE 5.1.

Il en résulte un modèle simplifié dont le nombre total de paramètres est réduit d'environ un tiers par rapport au modèle original. Plus précisément, le nombre de paramètres opérationnels, c'est-à-dire les éléments qui participent effectivement au traitement du retour d'information lors d'une conversation, a été divisé par deux.

L'héritage de la vaste base de connaissances de son modèle « parent », sans avoir à répéter l'intégralité du processus de formation coûteux, est la clé qui permet à Baidu d'économiser jusqu'à 94 % de son budget.

Par ailleurs, Baidu a entièrement restructuré son système d'apprentissage par renforcement. Au lieu de lier de manière rigide les mises à jour du modèle, la génération de retours et l'évaluation des performances, ces éléments ont été séparés en sous-systèmes indépendants, coordonnés par une unité de contrôle centrale.

Cela permet à chaque composant de fonctionner sur le matériel le plus adapté, garantissant ainsi qu'un goulot d'étranglement à une étape ne ralentira pas l'ensemble du processus.

Pour résoudre le problème du biais de calcul dans les modèles à experts mixtes (MoE), Baidu a également mis en œuvre une bibliothèque de calcul standardisée à faible précision, ce qui a réduit de moitié l'instabilité sans réduire la vitesse de traitement.

Pour contrer « l’effet de bascule », suivez un processus de formation en quatre étapes.

L'un des défis inhérents à l'entraînement de grands modèles d'IA est « l'effet de bascule ». Lorsque les développeurs tentent d'enseigner simultanément plusieurs compétences à l'IA, l'amélioration dans un domaine entraîne souvent un déclin dans un autre.

Par exemple, à mesure qu'un mannequin devient plus compétent en mathématiques, ses capacités d'écriture créative peuvent en être affectées négativement.

Pour remédier à cela, Baidu a mis en place un processus d'amélioration en quatre étapes qu'ils appellent MOPD (Multi-Teacher On-Policy Distillation).

Le processus de formation en quatre étapes de Baidu.

La première phase commence par un entraînement supervisé standardisé sur un vaste ensemble de données.

Dans la deuxième phase, Baidu entraîne en parallèle plusieurs modèles experts distincts pour des domaines tels que la programmation, le raisonnement logique et les tâches d'agents, chacun avec ses propres signaux d'évaluation.

Dans la troisième étape, un seul modèle « étudiant » apprendra simultanément de tous ces « enseignants » experts en générant ses propres réponses et en les comparant aux résultats des experts.

La dernière étape consiste en un apprentissage par renforcement général pour les dialogues ouverts et les tâches créatives.

Selon Baidu, cette dernière étape est cruciale car le processus de transmission de l'enseignant à l'élève produit parfois des réponses trop polies mais manquant de diversité.

Grâce à ce processus, ERNIE 5.1 ​​parvient à un équilibre des niveaux de compétences, évitant qu'un domaine ne soit surprivilégié et n'éclipse les autres.

Performance et ambition de premier plan pour dominer le marché mondial.

Les efforts d'optimisation de Baidu ont porté leurs fruits sur des classements de référence. Sur LMArena Search Arena, où les modèles d'IA sont évalués par de vrais utilisateurs via des recherches web en direct, ERNIE 5.1 ​​a atteint un score de 1 223 au 9 mai.

Ce score le place en 4e position au niveau mondial et en tête de tous les modèles développés en Chine.

Ernie 5.1 est immédiatement entré dans le top 4 du classement de LMArena.

Lors de tests intensifs de connaissances et de raisonnement, ERNIE 5.1 ​​a approché les performances des principaux modèles occidentaux à code source fermé tels que Gemini 3.1 Pro de Google.

Lors du concours de mathématiques AIME26, ce modèle a atteint un taux de précision de 99,6 % en utilisant des outils de raisonnement, se classant deuxième derrière Gemini 3.1 Pro.

En particulier, dans les tâches impliquant des « capacités d'agence » telles que le traitement de feuilles de calcul complexes ou la navigation Web automatisée en plusieurs étapes, ERNIE 5.1 ​​a surpassé DeepSeek-V4-Pro – le modèle qui détenait auparavant le record en Chine.

L'histoire de l'efficacité d'ERNIE 5.1 ​​rappelle l'impact de DeepSeek R1 début 2025, lorsque la startup a démontré qu'il était possible d'atteindre des performances comparables à celles d'OpenAI o1 à un coût 98 % inférieur.

Cependant, tandis que DeepSeek se concentre sur l'efficacité du raisonnement, ERNIE 5.1 ​​réalise une percée dès la phase d'entraînement initiale.

Le message que Baidu envoie est clair : les laboratoires d'IA chinois cherchent constamment des moyens innovants de « faire plus avec moins », plutôt que de simplement miser sur une augmentation de la puissance matérielle du système.

Actuellement, ERNIE 5.1 ​​est déployé à grande échelle sur plus de 10 plateformes et agences créatives en Chine. Les utilisateurs peuvent découvrir ce modèle à travers des applications telles que la plateforme de jeu de rôle Isekai Zero, l'outil de création de courts métrages Storymaster ou l'application graphique Diting Huanliu.

​

Décrypter, le décodeur

Source : https://khoahocdoisong.vn/quai-vat-ai-ernie-51-cua-baidu-van-hanh-with-lower-cost-than-94-post2149100260.html