Specializovaný čip umělé inteligence (AI) od společnosti Groq, LPU, se přes noc stává senzací na sociálních sítích, jelikož jeho veřejně dostupné benchmarkové testy kolují na platformě sociálních médií X.

Groq tvrdí, že nabízí „nejrychlejší modely zpracování přirozeného jazyka na světě “ a rozsáhlé nezávislé testování naznačuje, že toto tvrzení by mohlo být přesné.

735783 1szzxeq groq.jpg
Speciální čip LPU AI od společnosti Groq poskytuje v experimentech vynikající výkon pro rozsáhlé jazykové modely.

Společnost Groq vyrábí specializované čipy pro umělou inteligenci zvané LPU (Language Processing Units), o kterých se říká, že jsou rychlejší než grafické procesory Nvidia. Grafické procesory Nvidia jsou často považovány za průmyslový standard pro spouštění modelů umělé inteligence, ale první výsledky naznačují, že LPU je překonají, alespoň v úlohách vyžadujících vysokou rychlost.

Čip LPU od společnosti Groq je v podstatě „výpočetní engine“, který umožňuje chatbotům, jako jsou ChatGPT a Gemini, pracovat s extrémně rychlým příjmem a rychlostí odezvy. V provedených testech chatboti využívající čip LPU překonali osm chatbotů využívajících jiné čipy s umělou inteligencí v několika klíčových výkonnostních metrikách, včetně latence versus propustnosti a celkové doby odezvy. Vynikající výkon LPU byl nejvíce patrný při testování s modelem Meta Llama 2-70b.

Podle nezávislých testů společnosti Artificial Analysis mohou chatboti využívající čipy LPU dosáhnout propustnosti 247 tokenů za sekundu. Pro srovnání, ChatGPT od OpenAI v současné době dosahuje maximální propustnosti pouze 18 tokenů za sekundu. To znamená, že ChatGPT by mohl být s čipy vyvinutými společností Groq až 13krát rychlejší, i když to závisí na mnoha dalších souvisejících faktorech.

Podle společnosti Artificial Analysis by tato úroveň výkonu mohla odemknout nové možnosti pro rozsáhlé jazykové modely (LLM) v různých oblastech. Chatboti využívající čip LPU od společnosti Groq dokáží okamžitě vygenerovat stovky slov, což uživatelům umožňuje provádět úkoly v reálném čase. V jednom experimentu vedl zakladatel a generální ředitel společnosti Groq Jonathon Ross moderátora CNN v živé konverzaci s chatbotem s umělou inteligencí na druhé straně zeměkoule.

Chatboti s umělou inteligencí, jako jsou ChatGPT, Gemini a Llama, by mohli být výrazně užitečnější, kdyby reagovali rychleji. Jedním z významných omezení je, že tito chatboti nedokážou v reálném čase držet krok s lidskou řečí. Velké zpoždění způsobuje, že konverzace zní roboticky a pro mnoho oborů je nevhodná.

Navzdory očekáváním ohledně čipu LPU od společnosti Groq je bezprostředním problémem vyhodnocení jeho praktické použitelnosti ve srovnání s podobnými produkty. Na rozdíl od grafických procesorů Nvidia nebo TPU od Googlu je LPU od společnosti Groq specializovaný čip umělé inteligence, navržený pro optimalizaci pro specifické úkoly, spíše než „univerzální“ čip umělé inteligence.

Navíc je to také doba, kdy se hlavní vývojáři umělé inteligence snaží vyvíjet vlastní čipy, aby se vyhnuli závislosti na produktech Nvidie. OpenAI údajně hledá biliony dolarů na financování vývoje vlastních čipů. Generální ředitel OpenAI Sam Altman dokonce zvažuje přestavbu celé architektury čipů umělé inteligence od nuly.

(podle Cryptoslate)