El chip de inteligencia artificial (IA) especializado de Groq, LPU, se está convirtiendo de la noche a la mañana en una sensación en las redes sociales, ya que sus pruebas de referencia disponibles públicamente están circulando en la plataforma de redes sociales X.

Groq afirma ofrecer " los modelos de procesamiento de lenguaje natural más rápidos del mundo ", y extensas pruebas independientes sugieren que esa afirmación puede ser precisa.

735783 1szzxeq groq.jpg
El chip de inteligencia artificial LPU dedicado de Groq ofrece un rendimiento superior para modelos de lenguaje grandes en experimentos.

Groq fabrica chips de IA especializados llamados LPU (Unidades de Procesamiento del Lenguaje), que se dice que son más rápidos que las GPU de Nvidia. Las GPU de Nvidia suelen considerarse el estándar de la industria para ejecutar modelos de IA, pero los resultados iniciales sugieren que las LPU las superarán, al menos en tareas que requieren alta velocidad.

En esencia, el chip LPU de Groq es un motor de computación que permite a chatbots como ChatGPT y Gemini operar con velocidades de recepción y respuesta extremadamente rápidas. En pruebas realizadas, los chatbots que utilizan el chip LPU superaron a ocho chatbots que utilizan otros chips de IA en varias métricas clave de rendimiento, como la latencia frente al rendimiento y el tiempo total de respuesta. El rendimiento superior del LPU fue más evidente en las pruebas con el modelo Llama 2-70b de Meta.

Según pruebas independientes de Artificial Analysis, los chatbots que utilizan chips LPU pueden alcanzar un rendimiento de 247 tokens por segundo. A modo de comparación, ChatGPT de OpenAI actualmente solo alcanza un rendimiento máximo de 18 tokens por segundo. Esto significa que ChatGPT podría ser hasta 13 veces más rápido utilizando chips desarrollados por Groq, aunque esto depende de muchos otros factores relacionados.

Según Artificial Analysis, este nivel de rendimiento podría abrir nuevas posibilidades para los grandes modelos lingüísticos (LLM) en diversos campos. Los chatbots que utilizan el chip LPU de Groq pueden generar cientos de palabras al instante, lo que permite a los usuarios realizar tareas en tiempo real. En un experimento, el fundador y director ejecutivo de Groq, Jonathon Ross, guió a un presentador de CNN en una conversación hablada en vivo con un chatbot de IA al otro lado del mundo.

Los chatbots de IA como ChatGPT, Gemini y Llama podrían ser mucho más útiles si respondieran más rápido. Una de sus limitaciones principales actualmente es que no pueden seguir el ritmo del habla humana en tiempo real. El gran retraso hace que la conversación suene robótica e inadecuada para muchos campos.

A pesar de las expectativas generadas en torno al chip LPU de Groq, la cuestión inmediata es evaluar su aplicabilidad práctica en comparación con productos similares. A diferencia de las GPU de Nvidia o las TPU de Google, el LPU de Groq es un chip de IA especializado, diseñado para optimizar tareas específicas, en lugar de un chip de IA de propósito general.

Además, este es también un momento en el que los principales desarrolladores de IA buscan desarrollar sus propios chips para evitar la dependencia de los productos de Nvidia. Según informes, OpenAI busca billones de dólares en financiación para desarrollar sus propios chips. El director ejecutivo de OpenAI, Sam Altman, incluso está considerando reconstruir toda la arquitectura de chips de IA desde cero.

(según Cryptoslate)