Groqs specialiserade chip för artificiell intelligens (AI), LPU, blir en sensation över en natt på sociala medier, i takt med att dess offentligt tillgängliga benchmarktester cirkulerar på den sociala medieplattformen X.

Groq påstår sig erbjuda " världens snabbaste modeller för naturlig språkbehandling", och omfattande oberoende tester tyder på att påståendet kan vara korrekt.

735783 1szzxeq groq.jpg
Groqs dedikerade LPU AI-chip levererar överlägsen prestanda för stora språkmodeller i experiment.

Groq tillverkar specialiserade AI-chips som kallas LPU:er (Language Processing Units), vilka sägs vara snabbare än Nvidias GPU:er. Nvidias GPU:er anses ofta vara branschstandarden för att köra AI-modeller, men de första resultaten tyder på att LPU:erna kommer att överträffa dem, åtminstone i uppgifter som kräver hög hastighet.

I grund och botten är Groqs LPU-chip en "datormotor" som gör det möjligt för chattrobotar som ChatGPT och Gemini att arbeta med extremt snabba mottagnings- och svarshastigheter. I utförda tester överträffade chattrobotar som använde LPU-chippet åtta chattrobotar som använde andra AI-chip på flera viktiga prestandamått, inklusive latens kontra dataflöde och total svarstid. LPU:ns överlägsna prestanda var tydligast när den testades med Metas Llama 2-70b-modell.

Enligt oberoende tester av Artificial Analysis kan chatbotar som använder LPU-chip uppnå en dataflödeshastighet på 247 tokens per sekund. Som jämförelse uppnår OpenAI:s ChatGPT för närvarande bara en maximal dataflödeshastighet på 18 tokens per sekund. Det betyder att ChatGPT skulle kunna vara upp till 13 gånger snabbare med chips utvecklade av Groq, även om detta beror på många andra relaterade faktorer.

Enligt Artificial Analysis skulle denna prestandanivå kunna öppna upp nya möjligheter för stora språkmodeller (LLM) inom olika områden. Chatbotar som använder Groqs LPU-chip kan generera hundratals ord på ett ögonblick, vilket gör det möjligt för användare att utföra uppgifter i realtid. I ett experiment guidade Groqs grundare och VD Jonathon Ross en CNN-ankare i en livekonversation med en AI-chatbot på andra sidan jordklotet.

AI-chattrobotar som ChatGPT, Gemini och Llama skulle kunna vara betydligt mer användbara om de svarade snabbare. En av de betydande begränsningarna för närvarande är att dessa chattrobotar inte kan hålla jämna steg med mänskligt tal i realtid. Den stora fördröjningen gör att konversationen låter robotisk och olämplig för många områden.

Trots förväntningarna kring Groqs LPU-chip är den omedelbara frågan att utvärdera dess praktiska användbarhet jämfört med liknande produkter. Till skillnad från Nvidias GPU:er eller Googles TPU:er är Groqs LPU ett specialiserat AI-chip, utformat för att optimera för specifika uppgifter, snarare än ett "allmänt" AI-chip.

Dessutom är detta också en tid då stora AI-utvecklare vill utveckla sina egna chip för att undvika beroende av Nvidias produkter. OpenAI söker enligt uppgift biljoner dollar i finansiering för att utveckla sina egna chip. OpenAIs VD Sam Altman överväger till och med att bygga om hela AI-chiparkitekturen från grunden.

(enligt Cryptoslate)