Специализированный чип искусственного интеллекта (ИИ) LPU от компании Groq мгновенно стал сенсацией в социальных сетях, поскольку его общедоступные результаты тестов распространяются на платформе социальных сетей X.

Компания Groq утверждает, что предлагает «самые быстрые в мире модели обработки естественного языка», и обширные независимые тесты подтверждают это утверждение.

735783 1szzxeq groq.jpg
Специализированный чип LPU AI от Groq обеспечивает превосходную производительность при работе с большими языковыми моделями в экспериментах.

Компания Groq производит специализированные чипы для искусственного интеллекта, называемые LPU (Language Processing Units), которые, как утверждается, работают быстрее, чем графические процессоры Nvidia. Графические процессоры Nvidia часто считаются отраслевым стандартом для запуска моделей ИИ, но предварительные результаты показывают, что LPU превзойдут их, по крайней мере, в задачах, требующих высокой скорости.

По сути, чип LPU от Groq — это «вычислительный движок», который позволяет чат-ботам, таким как ChatGPT и Gemini, работать с чрезвычайно высокой скоростью приема и ответа. В проведенных тестах чат-боты, использующие чип LPU, превзошли восемь чат-ботов, использующих другие чипы ИИ, по нескольким ключевым показателям производительности, включая соотношение задержки и пропускной способности, а также общее время ответа. Превосходная производительность LPU наиболее очевидна при тестировании на модели Meta Llama 2-70b.

Согласно независимым тестам компании Artificial Analysis, чат-боты, использующие чипы LPU, могут достигать пропускной способности в 247 токенов в секунду. Для сравнения, ChatGPT от OpenAI в настоящее время достигает максимальной пропускной способности всего в 18 токенов в секунду. Это означает, что ChatGPT может быть до 13 раз быстрее, используя чипы, разработанные Groq, хотя это зависит от многих других факторов.

Согласно данным Artificial Analysis, такой уровень производительности может открыть новые возможности для больших языковых моделей (LLM) в различных областях. Чат-боты, использующие чип LPU от Groq, могут генерировать сотни слов мгновенно, позволяя пользователям выполнять задачи в режиме реального времени. В одном из экспериментов основатель и генеральный директор Groq Джонатан Росс руководил ведущей CNN в прямой разговорной беседе с чат-ботом на основе искусственного интеллекта, находящимся на другом конце земного шара.

Чат-боты с искусственным интеллектом, такие как ChatGPT, Gemini и Llama, могли бы быть значительно полезнее, если бы отвечали быстрее. Одним из существенных ограничений в настоящее время является то, что эти чат-боты не могут в режиме реального времени воспроизводить человеческую речь. Большая задержка делает разговор роботизированным и непригодным для многих областей.

Несмотря на ожидания, связанные с чипом LPU от Groq, непосредственная проблема заключается в оценке его практической применимости по сравнению с аналогичными продуктами. В отличие от графических процессоров Nvidia или TPU от Google, LPU от Groq — это специализированный чип для искусственного интеллекта, разработанный для оптимизации под конкретные задачи, а не «универсальный» чип для ИИ.

Кроме того, сейчас крупные разработчики ИИ стремятся создавать собственные чипы, чтобы избежать зависимости от продукции Nvidia. Сообщается, что OpenAI ищет триллионы долларов финансирования для разработки собственных чипов. Генеральный директор OpenAI Сэм Альтман даже рассматривает возможность перестройки всей архитектуры чипов для ИИ с нуля.

(по данным Cryptoslate)