Peu de paramètres, beaucoup de données

PaLM 2, le dernier grand modèle de langage (LLM) de Google annoncé la semaine dernière, utilise près de cinq fois plus de données de formation que son prédécesseur de 2022, ce qui lui permet de réaliser une programmation, des mathématiques et une création de contenu plus avancées.

Lors de la conférence des développeurs Google I/O, le géant de la recherche a présenté PaLM 2, un modèle de langage formé sur 3,6 billions de jetons. Ces jetons sont des séquences de mots - les éléments de base utilisés pour entraîner le LLM à prédire le prochain mot qui apparaîtra.

La version précédente de PaLM est sortie en 2022 et a été frappée avec 780 milliards de jetons.

Le PDG de Google, Sundar Pichai, a présenté lors de l'événement Google I/O de la semaine dernière le dernier modèle de langage à grande échelle de l'entreprise, PaLM 2.

Bien que Google ait constamment vanté ses prouesses en matière d’IA dans les domaines de la recherche, de la messagerie électronique, du traitement de texte et des feuilles de calcul, l’entreprise a été réticente à divulguer la taille ou les détails de ses ensembles de données de formation. OpenAI garde également secrets les détails de son dernier paramètre de formation LLM, GPT-4.

Les entreprises technologiques attribuent ce déclin à la nature compétitive de leur activité. Google et OpenAI se battent tous deux pour attirer les utilisateurs avec des produits de chatbot plutôt que des moteurs de recherche traditionnels.

Compact, puissant, économique

Google affirme que PaLM 2 est plus compact que ses prédécesseurs, étant formé avec 340 milliards de paramètres contre 540 milliards de paramètres pour la version précédente. Cela montre que la technologie de l’entreprise devient plus efficace pour effectuer des tâches complexes.

Pour y parvenir, PaLM 2 utilise une nouvelle technique appelée « optimisation informatique étendue », qui offre « de meilleures performances globales, notamment une inférence plus rapide avec moins de paramètres qui réduisent la surcharge ».

Le dernier modèle d'IA linguistique de Google, formé dans plus de 100 langues, exécute une variété de tâches pour 25 fonctionnalités et produits, y compris le chatbot expérimental Bard. PaLM 2 est disponible en quatre versions en fonction de la taille, de la plus petite à la plus grande : Gecko, Otter, Bison et Unicorn.

Selon la documentation publique, PaLM 2 est plus puissant que n’importe quel modèle existant. Le LlaMA de Facebook, lancé en février, est formé sur 1,4 billion de jetons. Entre-temps, la dernière fois qu'OpenAI a divulgué publiquement la taille des données d'entraînement pour ChatGPT, c'était pour la version GPT-3 avec 300 milliards de jetons.

L’explosion des applications de l’IA a créé une controverse autour de cette technologie. Plus tôt cette année, El Mahdi El Mhamdi, scientifique senior chez Google Research, a démissionné pour protester contre le manque de transparence du géant de la recherche.

Cette semaine, le PDG d’OpenAI, Sam Altman, a également témoigné devant la sous-commission judiciaire du Sénat américain sur la confidentialité et la technologie dans le contexte de l’IA omniprésente. Ici, le « père » de ChatGPT a convenu avec les législateurs que de nouvelles réglementations sont nécessaires pour gérer l’IA.

(Selon CNBC)

Source