La puce d'intelligence artificielle (IA) spécialisée de Groq, LPU, devient une sensation du jour au lendemain sur les réseaux sociaux, car ses tests de référence disponibles publiquement circulent sur la plateforme de médias sociaux X.

Groq affirme proposer « les modèles de traitement du langage naturel les plus rapides au monde », et de nombreux tests indépendants suggèrent que cette affirmation pourrait être exacte.

735783 1szzxeq groq.jpg
La puce LPU dédiée à l'IA de Groq offre des performances supérieures pour les grands modèles de langage dans les expériences.

Groq fabrique des puces d'IA spécialisées appelées LPU (unités de traitement du langage), réputées plus rapides que les GPU de Nvidia. Ces derniers sont souvent considérés comme la référence du secteur pour l'exécution de modèles d'IA, mais les premiers résultats suggèrent que les LPU les surpasseront, du moins pour les tâches exigeant une vitesse élevée.

En résumé, la puce LPU de Groq est un « moteur de calcul » qui permet aux chatbots comme ChatGPT et Gemini de fonctionner avec des vitesses de réception et de réponse extrêmement rapides. Lors de tests effectués, les chatbots utilisant la puce LPU ont surpassé huit chatbots utilisant d'autres puces d'IA sur plusieurs indicateurs clés de performance, notamment la latence par rapport au débit et le temps de réponse total. La performance supérieure de la puce LPU était particulièrement manifeste lors des tests avec le modèle Llama 2-70b de Meta.

D'après des tests indépendants réalisés par Artificial Analysis, les chatbots utilisant des puces LPU peuvent atteindre un débit de 247 jetons par seconde. À titre de comparaison, ChatGPT d'OpenAI n'atteint actuellement qu'un débit maximal de 18 jetons par seconde. Cela signifie que ChatGPT pourrait être jusqu'à 13 fois plus rapide avec les puces développées par Groq, bien que cela dépende de nombreux autres facteurs.

D'après Artificial Analysis, ce niveau de performance pourrait ouvrir de nouvelles perspectives pour les grands modèles de langage (LLM) dans divers domaines. Les chatbots utilisant la puce LPU de Groq peuvent générer instantanément des centaines de mots, permettant ainsi aux utilisateurs d'effectuer des tâches en temps réel. Lors d'une expérience, Jonathon Ross, fondateur et PDG de Groq, a guidé un présentateur de CNN dans une conversation vocale en direct avec un chatbot d'IA situé à l'autre bout du monde.

Les chatbots IA comme ChatGPT, Gemini et Llama seraient bien plus utiles s'ils répondaient plus rapidement. L'une de leurs principales limitations actuelles est leur incapacité à suivre le rythme de la parole humaine en temps réel. Ce délai important rend la conversation artificielle et inadaptée à de nombreux domaines.

Malgré les attentes suscitées par la puce LPU de Groq, la question immédiate est d'évaluer son applicabilité pratique par rapport à des produits similaires. Contrairement aux GPU de Nvidia ou aux TPU de Google, la puce LPU de Groq est une puce d'IA spécialisée, conçue pour optimiser des tâches spécifiques, et non une puce d'IA « généraliste ».

Par ailleurs, c'est aussi une période où les principaux développeurs d'IA cherchent à concevoir leurs propres puces afin de s'affranchir des produits Nvidia. OpenAI aurait besoin de plusieurs milliers de milliards de dollars de financement pour développer ses propres puces. Son PDG, Sam Altman, envisage même de reconstruire entièrement l'architecture des puces d'IA.

(selon Cryptoslate)