Google dévoile un supercalculateur d'IA développé par ses soins et doté d'avantages exceptionnels

Google, filiale d'Alphabet Inc., a révélé le 4 avril de nouveaux détails sur les supercalculateurs qu'elle utilise pour former ses propres modèles d'intelligence artificielle (IA), soulignant que ces systèmes sont plus rapides et plus économes en énergie que les systèmes équivalents de la société technologique rivale Nvidia Corp.

Google a développé un circuit intégré spécifique à une application, le Tensor Processing Unit (TPU). Il s'agit du TPU de quatrième génération de l'entreprise. Google utilise ces puces pour plus de 90 % de son entraînement en IA, le processus qui consiste à alimenter les modèles en données pour les rendre utiles à des tâches telles que la réponse à des requêtes textuelles comme les humains ou la génération d'images.

Dans une revue scientifique publiée le même jour, Google a détaillé comment il a connecté plus de 4 000 puces ensemble pour former un superordinateur, en utilisant des commutateurs optiques qu'il a lui-même développés pour aider à connecter les ordinateurs entre eux.

L'amélioration de ces connexions est un élément clé de la concurrence entre les entreprises de supercalculateurs d'IA, car les modèles convolutifs multilingues qui alimentent des technologies de pointe comme Bard de Google ou le chatbot ChatGPT d'OpenAI deviennent trop volumineux pour tenir sur une seule puce. Au lieu de cela, ces modèles linguistiques volumineux sont stockés sur des milliers de puces, puis agrégés pendant des semaines, voire plus, pour former des modèles intelligents de traitement de l'information.

Le PaLM de Google, le modèle multilingue le plus complet à ce jour, a été formé pendant 50 jours sur deux superordinateurs de 4 000 puces.

Google affirme que ses supercalculateurs accélèrent et simplifient la reconfiguration des connexions entre les puces, évitant ainsi les problèmes et les ajustements pour améliorer les performances. Ils sont 1,7 fois plus rapides et 1,9 fois plus économes en énergie qu'un système comparable de Nvidia Corp., développé sur la puce A100 et commercialisé en même temps que le TPU de quatrième génération.

Bien que les détails du supercalculateur viennent seulement d'être révélés, le système de pointe est déployé dans un centre de données de Google depuis 2020 dans le comté de Mayes, en Oklahoma, aux États-Unis.

Google a ajouté que la startup Midjourney a utilisé le superordinateur de Google pour entraîner son modèle, qui génère de nouvelles images en fonction de requêtes contenant quelques mots sous forme de texte.

Analyseur de réseau vectoriel

Source