Спеціалізований чіп штучного інтелекту (ШІ) від Groq, LPU, миттєво став сенсацією в соціальних мережах, оскільки його загальнодоступні бенчмарк-тести поширюються на платформі соціальних мереж X.

Groq стверджує, що пропонує «найшвидші у світі моделі обробки природної мови», і масштабне незалежне тестування показує, що це твердження може бути точним.

735783 1szzxeq groq.jpg
Спеціальний чіп штучного інтелекту LPU від Groq забезпечує чудову продуктивність для великих мовних моделей в експериментах.

Groq виробляє спеціалізовані чіпи штучного інтелекту, які називаються LPU (блоки обробки мови), і які, як кажуть, швидші за графічні процесори Nvidia. Графічні процесори Nvidia часто вважаються галузевим стандартом для запуску моделей штучного інтелекту, але початкові результати свідчать про те, що LPU перевершать їх, принаймні в завданнях, що потребують високої швидкості.

По суті, чіп LPU від Groq — це «обчислювальний двигун», який дозволяє чат-ботам, таким як ChatGPT та Gemini, працювати з надзвичайно високою швидкістю прийому та відгуку. У проведених тестах чат-боти, що використовують чіп LPU, перевершили вісім чат-ботів, що використовують інші чіпи штучного інтелекту, за кількома ключовими показниками продуктивності, включаючи співвідношення затримки та пропускної здатності та загальний час відгуку. Перевага LPU була найбільш очевидною під час тестування з моделлю Llama 2-70b від Meta.

Згідно з незалежними тестами Artificial Analysis, чат-боти, що використовують чіпи LPU, можуть досягати пропускної здатності 247 токенів за секунду. Для порівняння, ChatGPT від OpenAI наразі досягає максимальної пропускної здатності лише 18 токенів за секунду. Це означає, що ChatGPT може бути до 13 разів швидшим за допомогою чіпів, розроблених Groq, хоча це залежить від багатьох інших пов'язаних факторів.

Згідно з даними Artificial Analysis, такий рівень продуктивності може відкрити нові можливості для моделей великих мов (LLM) у різних галузях. Чат-боти, що використовують чіп LPU від Groq, можуть миттєво генерувати сотні слів, дозволяючи користувачам виконувати завдання в режимі реального часу. В одному експерименті засновник і генеральний директор Groq Джонатан Росс керував ведучим CNN в живій розмові з чат-ботом на базі штучного інтелекту на іншому кінці земної кулі.

Чат-боти зі штучним інтелектом, такі як ChatGPT, Gemini та Llama, могли б бути значно кориснішими, якби реагували швидше. Одним із суттєвих обмежень наразі є те, що ці чат-боти не можуть встигати за людською мовою в режимі реального часу. Велика затримка робить розмову роботоподібною та непридатною для багатьох сфер.

Незважаючи на очікування щодо чіпа LPU від Groq, нагальним питанням є оцінка його практичної застосовності порівняно з аналогічними продуктами. На відміну від графічних процесорів Nvidia або технологійних процесорів Google, LPU від Groq — це спеціалізований чіп штучного інтелекту, розроблений для оптимізації виконання конкретних завдань, а не чіп штучного інтелекту «загального призначення».

Крім того, зараз також час, коли великі розробники штучного інтелекту прагнуть розробляти власні чіпи, щоб уникнути залежності від продуктів Nvidia. За повідомленнями, OpenAI шукає трильйони доларів фінансування для розробки власних чіпів. Генеральний директор OpenAI Сем Альтман навіть розглядає можливість перебудови всієї архітектури чіпів штучного інтелекту з нуля.

(за даними Cryptoslate)