O chip de inteligência artificial (IA) especializado da Groq, o LPU, está se tornando uma sensação instantânea nas redes sociais, à medida que seus testes de benchmark, disponíveis publicamente, estão circulando na plataforma de mídia social X.

A Groq afirma oferecer " os modelos de processamento de linguagem natural mais rápidos do mundo ", e extensos testes independentes sugerem que essa afirmação pode ser precisa.

735783 1szzxeq groq.jpg
O chip de IA LPU dedicado da Groq oferece desempenho superior para grandes modelos de linguagem em experimentos.

A Groq fabrica chips de IA especializados chamados LPUs (Unidades de Processamento de Linguagem), que supostamente são mais rápidos que as GPUs da Nvidia. As GPUs da Nvidia são frequentemente consideradas o padrão da indústria para executar modelos de IA, mas os resultados iniciais sugerem que as LPUs as superarão, pelo menos em tarefas que exigem alta velocidade.

Essencialmente, o chip LPU da Groq é um "motor de computação" que permite que chatbots como o ChatGPT e o Gemini operem com velocidades de recepção e resposta extremamente rápidas. Em testes realizados, os chatbots que utilizam o chip LPU superaram oito chatbots com outros chips de IA em diversas métricas de desempenho importantes, incluindo latência versus taxa de transferência e tempo total de resposta. O desempenho superior do LPU ficou mais evidente quando testado com o modelo Llama 2-70b da Meta.

De acordo com testes independentes realizados pela Artificial Analysis, chatbots que utilizam chips LPU podem atingir uma taxa de transferência de 247 tokens por segundo. Para efeito de comparação, o ChatGPT da OpenAI atualmente atinge uma taxa de transferência máxima de apenas 18 tokens por segundo. Isso significa que o ChatGPT poderia ser até 13 vezes mais rápido utilizando chips desenvolvidos pela Groq, embora isso dependa de muitos outros fatores relacionados.

Segundo a Artificial Analysis, esse nível de desempenho pode abrir novas possibilidades para grandes modelos de linguagem (LLMs) em diversas áreas. Chatbots que utilizam o chip LPU da Groq podem gerar centenas de palavras instantaneamente, permitindo que os usuários realizem tarefas em tempo real. Em um experimento, o fundador e CEO da Groq, Jonathon Ross, conduziu uma apresentadora da CNN em uma conversa ao vivo com um chatbot de IA do outro lado do mundo.

Os chatbots de IA, como ChatGPT, Gemini e Llama, poderiam ser significativamente mais úteis se respondessem mais rapidamente. Uma das principais limitações atuais é que esses chatbots não conseguem acompanhar a fala humana em tempo real. O grande atraso faz com que a conversa soe robótica e inadequada para muitas áreas.

Apesar das expectativas em torno do chip LPU da Groq, a questão imediata é avaliar sua aplicabilidade prática em comparação com produtos similares. Diferentemente das GPUs da Nvidia ou das TPUs do Google, o LPU da Groq é um chip de IA especializado, projetado para otimizar tarefas específicas, em vez de um chip de IA de "uso geral".

Além disso, este também é um momento em que os principais desenvolvedores de IA estão buscando desenvolver seus próprios chips para evitar a dependência dos produtos da Nvidia. A OpenAI estaria buscando trilhões de dólares em financiamento para desenvolver seus próprios chips. O CEO da OpenAI, Sam Altman, está até mesmo considerando reconstruir toda a arquitetura de chips de IA do zero.

(de acordo com a Cryptoslate)