Peu de paramètres, beaucoup de données

PaLM 2, le dernier grand modèle de langage (LLM) de Google annoncé la semaine dernière, utilise près de cinq fois plus de données de formation que son prédécesseur de 2022, ce qui lui permet de réaliser une programmation, des mathématiques et une création de contenu plus avancées.

Lors de la conférence des développeurs Google I/O, le géant de la recherche a présenté PaLM 2, un modèle de langage entraîné sur 3,6 billions de jetons. Ces jetons sont des séquences de mots, les éléments de base utilisés pour entraîner LLM à prédire le mot suivant.

La version précédente de PaLM est sortie en 2022 et a été frappée avec 780 milliards de jetons.

Le PDG de Google, Sundar Pichai, a présenté lors de l'événement Google I/O de la semaine dernière le dernier modèle de langage à grande échelle de l'entreprise, PaLM 2.

Bien que Google vante ses prouesses en matière d'IA dans les domaines de la recherche, de la messagerie électronique, du traitement de texte et des tableurs, l'entreprise hésite à divulguer la taille ou les détails de ses ensembles de données d'entraînement. OpenAI garde également secrets les détails de son dernier algorithme d'entraînement LLM, GPT-4.

Les entreprises technologiques attribuent cette situation à la nature concurrentielle de leurs activités. Google et OpenAI se battent pour attirer les utilisateurs grâce à des chatbots plutôt qu'aux moteurs de recherche traditionnels.

Compact, puissant, économique

Google affirme que PaLM 2 est plus compact que ses prédécesseurs, avec un entraînement comprenant 340 milliards de paramètres, contre 540 milliards pour la version précédente. Cela montre que la technologie de l'entreprise gagne en efficacité pour réaliser des tâches complexes.

Pour y parvenir, PaLM 2 utilise une nouvelle technique appelée « optimisation informatique étendue », qui offre « de meilleures performances globales, notamment une inférence plus rapide avec moins de paramètres qui réduisent la surcharge ».

Le dernier modèle d'IA linguistique de Google, entraîné dans plus de 100 langues, exécute diverses tâches pour 25 fonctionnalités et produits, dont le chatbot expérimental Bard. PaLM 2 est disponible en quatre versions, de la plus petite à la plus grande, selon leur taille : Gecko, Otter, Bison et Unicorn.

Selon la documentation publique, PaLM 2 est plus puissant que tous les modèles existants. LlaMA de Facebook, lancé en février, a été entraîné sur 1,4 billion de jetons. Parallèlement, OpenAI a récemment dévoilé publiquement la taille des données d'entraînement de ChatGPT, une version de GPT-3, avec 300 milliards de jetons.

L'explosion des applications d'IA a suscité la controverse autour de cette technologie. Plus tôt cette année, El Mahdi El Mhamdi, scientifique senior chez Google Research, a démissionné pour protester contre le manque de transparence du géant de la recherche.

Cette semaine, le PDG d'OpenAI, Sam Altman, a également témoigné devant la sous-commission judiciaire du Sénat américain sur la confidentialité et la technologie dans le contexte de la généralisation de l'IA, où le « père » de ChatGPT a convenu avec les législateurs que de nouvelles réglementations sont nécessaires pour régir l'IA.

(Selon CNBC)

Source