Разработанный компанией Groq специализированный чип искусственного интеллекта (ИИ) LPU в одночасье стал сенсацией в социальных сетях, поскольку его публичные тесты стали вирусными на платформе социальных сетей X.

Groq утверждает, что предлагает «самые быстрые в мире модели обработки естественного языка», и обширное независимое тестирование позволяет предположить, что это утверждение может быть верным.

735783 1szzxeq groq.jpg
Специализированный чип ИИ LPU, разработанный компанией Groq, обеспечивает превосходную производительность для больших языковых моделей в экспериментах.

Groq производит специализированный чип для искусственного интеллекта, называемый LPU (Language Processing Unit), который, как утверждается, быстрее графических процессоров Nvidia. Графические процессоры Nvidia часто считаются отраслевым стандартом для запуска моделей искусственного интеллекта, но предварительные результаты показывают, что LPU превзойдут их, по крайней мере, в задачах, требующих высокой скорости.

По сути, чип LPU от Groq — это «вычислительный движок», позволяющий чат-ботам, таким как ChatGPT и Gemini, работать с молниеносной скоростью приёма и ответа. В ходе проведённых тестов чат-бот на базе LPU превзошёл восемь чат-ботов, использующих другие чипы ИИ, по нескольким ключевым показателям производительности, включая соотношение задержки к пропускной способности и общее время отклика. Превосходная производительность LPU была наиболее очевидна при сравнении с моделью Meta Llama 2-70b.

Согласно независимым тестам Artificial Analysis, чат-боты на базе чипов LPU могут достигать производительности 247 токенов в секунду. Для сравнения, ChatGPT от OpenAI в настоящее время достигает максимальной производительности лишь 18 токенов в секунду. Это означает, что ChatGPT может быть в 13 раз быстрее при использовании чипов Groq, хотя это зависит от множества других факторов.

По данным компании Artificial Analysis, такой уровень производительности может открыть новые возможности для больших языковых моделей (LLM) в широком спектре областей. Чат-боты, использующие LPU-чипы Groq, могут генерировать сотни слов за доли секунды, позволяя пользователям выполнять задачи в режиме реального времени. В одном из тестов основатель и генеральный директор Groq Джонатан Росс провел ведущую CNN через живой устный диалог с чат-ботом на базе искусственного интеллекта, находящимся на другом конце света.

Чат-боты с искусственным интеллектом, такие как ChatGPT, Gemini, Llama… могли бы быть значительно полезнее, если бы реагировали быстрее. Одним из существенных ограничений в настоящее время является то, что эти чат-боты не могут опережать человеческую речь в режиме реального времени. Значительная задержка делает общение роботизированным и неудовлетворительным во многих областях.

Несмотря на ажиотаж вокруг LPU Groq, возникает вопрос, как он выглядит в сравнении с аналогичными продуктами в реальных приложениях. В отличие от графических процессоров Nvidia или TPU Google, LPU Groq — это специализированный ИИ-чип, оптимизированный для решения конкретных задач, а не «универсальный» ИИ-чип.

Кроме того, именно сейчас крупные разработчики ИИ-решений стремятся разрабатывать собственные чипы, чтобы избежать зависимости от продуктов Nvidia. По имеющимся данным, OpenAI ищет триллионы долларов финансирования для разработки собственных чипов. Генеральный директор OpenAI Сэм Альтман даже рассматривает возможность создания совершенно новой архитектуры ИИ-чипов с нуля.

(по данным Cryptoslate)