Cipul specializat de inteligență artificială (IA) de la Groq, LPU, devine peste noapte o senzație pe rețelele de socializare, deoarece testele sale de referință disponibile publicului circulă pe platforma de socializare X.

Groq susține că oferă „cele mai rapide modele de procesare a limbajului natural din lume ”, iar teste independente ample sugerează că această afirmație ar putea fi corectă.

735783 1szzxeq groq.jpg
Cipul dedicat LPU AI de la Groq oferă performanțe superioare pentru modele lingvistice mari în experimente.

Groq produce cipuri specializate de inteligență artificială numite LPU-uri (Unități de procesare a limbajului), despre care se spune că sunt mai rapide decât GPU-urile Nvidia. GPU-urile Nvidia sunt adesea considerate standardul industriei pentru rularea modelelor de inteligență artificială, dar rezultatele inițiale sugerează că LPU-urile le vor depăși, cel puțin în sarcinile care necesită viteză mare.

În esență, cipul LPU de la Groq este un „motor de calcul” care permite chatboților precum ChatGPT și Gemini să funcționeze cu viteze de recepție și răspuns extrem de rapide. În testele efectuate, chatboții care utilizează cipul LPU au depășit opt ​​chatboți care utilizează alte cipuri de inteligență artificială la mai multe valori cheie ale performanței, inclusiv latența față de debit și timpul total de răspuns. Performanța superioară a LPU a fost cel mai evidentă atunci când a fost testată cu modelul Llama 2-70b de la Meta.

Conform testelor independente realizate de Artificial Analysis, chatboții care utilizează cipuri LPU pot atinge un randament de 247 de tokenuri pe secundă. Pentru comparație, ChatGPT de la OpenAI atinge în prezent un randament maxim de doar 18 tokenuri pe secundă. Aceasta înseamnă că ChatGPT ar putea fi de până la 13 ori mai rapid folosind cipuri dezvoltate de Groq, deși acest lucru depinde de mulți alți factori legați de acestea.

Conform Artificial Analysis, acest nivel de performanță ar putea deschide noi posibilități pentru modelele lingvistice mari (LLM) în diverse domenii. Chatbot-urile care utilizează cipul LPU al Groq pot genera sute de cuvinte într-o clipă, permițând utilizatorilor să efectueze sarcini în timp real. Într-un experiment, fondatorul și CEO-ul Groq, Jonathon Ross, a ghidat un prezentator CNN într-o conversație vorbită în direct cu un chatbot cu inteligență artificială aflat la cealaltă parte a globului.

Chatboții cu inteligență artificială precum ChatGPT, Gemini și Llama ar putea fi semnificativ mai utili dacă ar răspunde mai rapid. Una dintre limitările semnificative actuale este că acești chatboți nu pot ține pasul cu vorbirea umană în timp real. Întârzierea mare face ca conversația să sune robotică și nepotrivită pentru multe domenii.

În ciuda așteptărilor legate de cipul LPU de la Groq, problema imediată este evaluarea aplicabilității sale practice în comparație cu produse similare. Spre deosebire de GPU-urile Nvidia sau TPU-urile Google, LPU de la Groq este un cip AI specializat, conceput pentru a optimiza sarcini specifice, mai degrabă decât un cip AI „de uz general”.

În plus, acesta este și un moment în care marii dezvoltatori de inteligență artificială caută să-și dezvolte propriile cipuri pentru a evita dependența de produsele Nvidia. Se pare că OpenAI caută finanțare de trilioane de dolari pentru a-și dezvolta propriile cipuri. CEO-ul OpenAI, Sam Altman, ia în considerare chiar și reconstruirea întregii arhitecturi a cipurilor de inteligență artificială de la zero.

(conform Cryptoslate)