A Groq speciális mesterséges intelligencia (MI) chipje, az LPU, egyik napról a másikra szenzációvá válik a közösségi médiában, mivel nyilvánosan elérhető benchmark tesztjei keringenek az X közösségi média platformon.

A Groq azt állítja, hogy „ a világ leggyorsabb természetes nyelvi feldolgozási modelljeit” kínálja, és kiterjedt független tesztelés azt sugallja, hogy ez az állítás helytálló lehet.

735783 1szzxeq groq.jpg
A Groq dedikált LPU mesterséges intelligencia chipje kiváló teljesítményt nyújt nagyméretű nyelvi modellek kísérleteihez.

A Groq speciális mesterséges intelligencia chipeket gyárt, úgynevezett LPU-kat (Language Processing Units), amelyek állítólag gyorsabbak, mint az Nvidia GPU-i. Az Nvidia GPU-it gyakran tekintik az iparági szabványnak a mesterséges intelligencia modellek futtatásában, de a kezdeti eredmények azt sugallják, hogy az LPU-k felül fogják múlni őket, legalábbis a nagy sebességet igénylő feladatokban.

A Groq LPU chipje lényegében egy „számítástechnikai motor”, amely lehetővé teszi a ChatGPT-hez és a Geminihez hasonló chatbotok számára, hogy rendkívül gyors vételi és válaszsebességgel működjenek. Az elvégzett tesztek során az LPU chipet használó chatbotok több kulcsfontosságú teljesítménymutatóban is felülmúlták nyolc, más MI chipeket használó chatbotot, beleértve a késleltetést az átviteli sebességgel és a teljes válaszidőt. Az LPU kiváló teljesítménye leginkább a Meta Llama 2-70b modelljével tesztelve mutatkozott meg.

Az Artificial Analysis független tesztjei szerint az LPU chipeket használó chatbotok másodpercenként 247 token átviteli sebességet érhetnek el. Összehasonlításképpen, az OpenAI ChatGPT-je jelenleg csak másodpercenként 18 token maximális átviteli sebességet ér el. Ez azt jelenti, hogy a Groq által fejlesztett chipekkel a ChatGPT akár 13-szor gyorsabb is lehet, bár ez számos más kapcsolódó tényezőtől is függ.

Az Artificial Analysis szerint ez a teljesítményszint új lehetőségeket nyithat meg a nagy nyelvi modellek (LLM) számára számos területen. A Groq LPU chipjét használó chatbotok több száz szót tudnak generálni egy szempillantás alatt, lehetővé téve a felhasználók számára, hogy valós időben végezzenek feladatokat. Egy kísérletben a Groq alapítója és vezérigazgatója, Jonathon Ross egy CNN-híradót élő szóbeli beszélgetésben irányított egy mesterséges intelligencia által vezérelt chatbottal a világ másik felén.

Az olyan mesterséges intelligenciával működő chatbotok, mint a ChatGPT, a Gemini és a Llama, jelentősen hasznosabbak lehetnének, ha gyorsabban reagálnának. Jelenlegi egyik jelentős korlátjuk, hogy ezek a chatbotok nem tudják valós időben követni az emberi beszédet. A nagy késleltetés miatt a beszélgetés robotikusnak tűnik, és sok területen alkalmatlan.

A Groq LPU chipjével kapcsolatos elvárások ellenére a közvetlen kérdés a gyakorlati alkalmazhatóságának felmérése a hasonló termékekhez képest. Az Nvidia GPU-ival vagy a Google TPU-ival ellentétben a Groq LPU-ja egy speciális MI-chip, amelyet konkrét feladatok optimalizálására terveztek, nem pedig egy „általános célú” MI-chip.

Továbbá ez egy olyan időszak is, amikor a nagyobb mesterséges intelligencia fejlesztők saját chipeket szeretnének fejleszteni, hogy elkerüljék az Nvidia termékeitől való függőséget. Az OpenAI állítólag több billió dolláros finanszírozást keres saját chipek fejlesztéséhez. Sam Altman, az OpenAI vezérigazgatója még a teljes mesterséges intelligencia chip architektúra nulláról történő újjáépítését is fontolgatja.

(a Cryptoslate szerint)