Der von Groq entwickelte, dedizierte Chip für künstliche Intelligenz (KI) LPU entwickelt sich über Nacht zu einer Social-Media-Sensation, da seine öffentlichen Benchmarktests auf der Social-Media-Plattform X viral gingen.

Groq behauptet, „ die weltweit schnellsten Modelle zur natürlichen Sprachverarbeitung“ anzubieten, und umfangreiche unabhängige Tests legen nahe, dass diese Behauptung zutreffen könnte.

735783 1szzxeq groq.jpg
Der von Groq entwickelte dedizierte AI-LPU-Chip bietet in Experimenten eine überragende Leistung für große Sprachmodelle.

Groq stellt einen dedizierten KI-Chip namens LPU (Language Processing Unit) her, der schneller sein soll als Nvidias GPUs. Nvidias GPUs gelten oft als Industriestandard für die Ausführung von KI-Modellen, doch erste Ergebnisse deuten darauf hin, dass LPUs sie zumindest bei Aufgaben, die hohe Geschwindigkeit erfordern, übertreffen werden.

Im Wesentlichen ist Groqs LPU-Chip eine „Rechenmaschine“, die Chatbots wie ChatGPT und Gemini blitzschnelle Empfangs- und Reaktionsgeschwindigkeiten ermöglicht. In durchgeführten Tests übertraf der LPU-betriebene Chatbot acht Chatbots mit anderen KI-Chips in mehreren wichtigen Leistungskennzahlen, darunter Latenz im Vergleich zum Durchsatz und die Gesamtreaktionszeit. Die überlegene Leistung der LPU zeigte sich am deutlichsten im Vergleich zum Llama 2-70b-Modell von Meta.

Laut unabhängigen Tests von Artificial Analysis erreichen Chatbots mit LPU-Chips einen Durchsatz von 247 Token/Sekunde. Zum Vergleich: OpenAIs ChatGPT erreicht derzeit nur einen maximalen Durchsatz von 18 Token/Sekunde. Das bedeutet, dass ChatGPT mit den Chips von Groq 13-mal schneller sein könnte, obwohl dies von vielen anderen Faktoren abhängt.

Laut Artificial Analysis könnte dieses Leistungsniveau neue Möglichkeiten für große Sprachmodelle (LLMs) in zahlreichen Bereichen eröffnen. Chatbots, die Groqs LPU-Chips verwenden, können Hunderte von Wörtern in Sekundenbruchteilen generieren und ermöglichen es Nutzern, Aufgaben in Echtzeit auszuführen. In einem Test führte Groq-Gründer und CEO Jonathon Ross einen CNN-Moderator durch ein Live-Gespräch mit einem KI-Chatbot am anderen Ende der Welt.

KI-Chatbots wie ChatGPT, Gemini, Llama usw. könnten deutlich nützlicher sein, wenn sie schneller reagieren würden. Eine der wesentlichen Einschränkungen besteht derzeit darin, dass diese Chatbots menschliche Sprache nicht in Echtzeit wiedergeben können. Die große Verzögerung macht die Konversation roboterhaft und in vielen Bereichen unbefriedigend.

Trotz des Hypes um Groqs LPU stellt sich die unmittelbare Frage, wie sie im Vergleich zu ähnlichen Produkten in der Praxis abschneidet. Im Gegensatz zu Nvidias GPU oder Googles TPU ist Groqs LPU ein spezialisierter KI-Chip, der für bestimmte Aufgaben optimiert ist, und kein universeller KI-Chip.

Darüber hinaus ist dies auch die Zeit, in der große KI-Entwickler eigene Chips entwickeln wollen, um die Abhängigkeit von Nvidia-Produkten zu vermeiden. OpenAI soll Billionen von Dollar an Finanzierung für die Entwicklung eigener Chips benötigen. OpenAI-CEO Sam Altman erwägt sogar, eine völlig neue KI-Chip-Architektur von Grund auf neu zu entwickeln.

(laut Cryptoslate)