El chip de inteligencia artificial (IA) dedicado LPU desarrollado por Groq se está convirtiendo de la noche a la mañana en una sensación en las redes sociales, ya que sus pruebas comparativas públicas se volvieron virales en la plataforma de redes sociales X.

Groq afirma ofrecer " los modelos de procesamiento de lenguaje natural más rápidos del mundo " y extensas pruebas independientes sugieren que esa afirmación puede ser precisa.

735783 1szzxeq groq.jpg
El chip LPU de IA dedicado desarrollado por Groq ofrece un rendimiento superior para modelos de idiomas grandes en experimentos.

Groq fabrica un chip dedicado a la IA llamado LPU (Unidad de Procesamiento del Lenguaje), que se dice es más rápido que las GPU de Nvidia. Las GPU de Nvidia suelen considerarse el estándar de la industria para ejecutar modelos de IA, pero los primeros resultados sugieren que las LPU las superarán, al menos en tareas que requieren alta velocidad.

En esencia, el chip LPU de Groq es un motor de cómputo que permite a chatbots como ChatGPT y Gemini operar a velocidades de recepción y respuesta ultrarrápidas. En pruebas realizadas, el chatbot con LPU superó a ocho chatbots que utilizaban otros chips de IA en varias métricas clave de rendimiento, como la latencia frente al rendimiento y el tiempo total de respuesta. El rendimiento superior del LPU se hizo más evidente al compararlo con el modelo Llama 2-70b de Meta.

Según pruebas independientes de Artificial Analysis, los chatbots que utilizan chips LPU pueden alcanzar un rendimiento de 247 tokens/segundo. A modo de comparación, ChatGPT de OpenAI actualmente solo alcanza un rendimiento máximo de 18 tokens/segundo. Esto significa que ChatGPT podría ser 13 veces más rápido si utilizara los chips de Groq, aunque esto depende de muchos otros factores relacionados.

Según Artificial Analysis, este nivel de rendimiento podría abrir nuevas posibilidades para los grandes modelos lingüísticos (LLM) en una amplia gama de dominios. Los chatbots que utilizan los chips LPU de Groq pueden generar cientos de palabras en una fracción de segundo, lo que permite a los usuarios realizar tareas en tiempo real. En una prueba, Jonathon Ross, fundador y director ejecutivo de Groq, guió a un presentador de CNN en una conversación verbal en vivo con un chatbot de IA al otro lado del mundo.

Los chatbots de IA como ChatGPT, Gemini, Llama… podrían ser mucho más útiles si respondieran más rápido. Una de sus limitaciones más importantes actualmente es que estos chatbots no pueden seguir el ritmo del habla humana en tiempo real. Este gran retraso hace que la conversación sea robótica e insatisfactoria en muchos ámbitos.

A pesar del revuelo en torno a la LPU de Groq, la pregunta inmediata es cómo se compara con productos similares en aplicaciones reales. A diferencia de la GPU de Nvidia o la TPU de Google, la LPU de Groq es un chip de IA especializado, diseñado para optimizarse para tareas específicas, en lugar de ser un chip de IA de propósito general.

Además, este es también el momento en que los principales desarrolladores de IA buscan desarrollar sus propios chips para evitar la dependencia de los productos de Nvidia. Se dice que OpenAI busca billones de dólares en financiación para desarrollar sus propios chips. El director ejecutivo de OpenAI, Sam Altman, incluso está considerando reconstruir una arquitectura de chip de IA completamente nueva desde cero.

(según Cryptoslate)