Moins de paramètres, plus de données

PaLM 2, le dernier grand modèle de langage (LLM) de Google, annoncé la semaine dernière, utilise près de cinq fois plus de données d'entraînement que son prédécesseur de 2022, ce qui lui permet de programmer, de résoudre des problèmes et de créer un contenu plus avancé.

Lors de la conférence Google I/O pour les développeurs, le géant de la recherche a présenté PaLM 2, un modèle d'apprentissage du langage basé sur 3 600 milliards de tokens. Ces tokens sont des chaînes de mots, les éléments de base utilisés dans l'apprentissage du modèle pour prédire le mot suivant.

La version précédente de PaLM a été publiée en 2022 et entraînée à l'aide de 780 milliards de jetons.

Lors de l'événement Google I/O de la semaine dernière, le PDG de Google, Sundar Pichai, a présenté le dernier modèle de langage de grande envergure de l'entreprise, PaLM 2.

Bien que Google mette constamment en avant la puissance de l'IA dans la recherche, la messagerie, le traitement de texte et les tableurs, l'entreprise reste discrète sur la taille et les détails de ses ensembles de données d'entraînement. OpenAI garde également confidentiels les détails des paramètres d'entraînement de son dernier modèle LLM, GPT-4.

Les entreprises technologiques expliquent cela par la nature concurrentielle de leur secteur. Google et OpenAI rivalisent pour attirer les utilisateurs avec des chatbots plutôt qu'avec les moteurs de recherche traditionnels.

Compact, puissant et économique.

Google a déclaré que PaLM 2 est plus compact que ses prédécesseurs, ayant été entraîné avec 340 milliards de paramètres contre 540 milliards pour la version précédente. Cela démontre que la technologie de l'entreprise gagne en efficacité pour l'exécution de tâches complexes.

Pour ce faire, PaLM 2 utilise une nouvelle technique appelée « optimisation de calcul étendue », qui offre « de meilleures performances globales, notamment une inférence plus rapide avec moins de paramètres, réduisant ainsi les coûts d'exploitation ».

Le dernier modèle de langage IA de Google, entraîné sur plus de 100 langues, réalise diverses tâches pour 25 fonctionnalités et produits, dont le chatbot expérimental Bard. PaLM 2 se décline en quatre versions selon leur taille, de la plus petite à la plus grande : Gecko, Loutre, Bison et Licorne.

D'après des documents publics, PaLM 2 est plus puissant que tous les modèles existants. LlaMA de Facebook, lancé en février, a été entraîné sur 1 400 milliards de jetons. Quant à ChatGPT, la dernière fois qu'OpenAI a communiqué publiquement la taille des données d'entraînement, c'était pour la version GPT-3, avec 300 milliards de jetons.

L'essor des applications d'IA a suscité la controverse autour de cette technologie. Plus tôt cette année, El Mahdi, chercheur principal chez Google Research, a démissionné pour protester contre le manque de transparence du géant de la recherche.

Cette semaine, Sam Altman, PDG d'OpenAI, a également témoigné devant la sous-commission judiciaire du Sénat américain chargée de la protection de la vie privée et des technologies face à la prévalence croissante de l'IA. Le créateur de ChatGPT a convenu avec les législateurs que de nouvelles réglementations sont nécessaires pour encadrer l'IA.

Comment (0)