Groq가 개발한 전용 인공지능 (AI) 칩 LPU가 소셜 미디어 플랫폼 X에서 공개 벤치마크 테스트가 화제가 되면서 하룻밤 사이에 소셜 미디어에서 큰 인기를 얻고 있습니다.

Groq는 ' 세계에서 가장 빠른 자연어 처리 모델'을 제공한다고 주장하며, 광범위한 독립적인 테스트 결과 이 ​​주장이 사실일 수 있는 것으로 나타났습니다.

735783 1szzxeq groq.jpg
Groq가 개발한 전용 AI LPU 칩은 실험에서 대규모 언어 모델에 뛰어난 성능을 제공합니다.

Groq는 엔비디아 GPU보다 빠르다고 알려진 LPU(언어 처리 장치)라는 전용 AI 칩을 개발합니다. 엔비디아 GPU는 AI 모델 실행을 위한 업계 표준으로 여겨지지만, 초기 결과에 따르면 LPU가 적어도 고속 처리가 필요한 작업에서는 엔비디아 GPU보다 성능이 더 좋을 것으로 예상됩니다.

본질적으로 Groq의 LPU 칩은 ChatGPT 및 Gemini와 같은 챗봇이 초고속 수신 및 응답 속도로 작동할 수 있도록 하는 '컴퓨팅 엔진'입니다. 테스트 결과, LPU 기반 챗봇은 지연 시간 대비 처리량, 총 응답 시간 등 여러 주요 성능 지표에서 다른 AI 칩을 사용하는 8개의 챗봇보다 우수한 성능을 보였습니다. LPU의 탁월한 성능은 Meta의 Llama 2-70b 모델과 비교 테스트했을 때 가장 두드러졌습니다.

Artificial Analysis의 독립적인 테스트에 따르면, LPU 칩을 사용하는 챗봇은 초당 247토큰의 처리량을 달성할 수 있습니다. 비교하자면, OpenAI의 ChatGPT는 현재 최대 초당 18토큰의 처리량만 달성합니다. 즉, Groq 칩을 사용하면 ChatGPT가 13배 더 빨라질 수 있지만, 이는 다른 여러 요인에 따라 달라질 수 있습니다.

Artificial Analysis에 따르면, 이러한 수준의 성능은 광범위한 분야에 걸쳐 대규모 언어 모델(LLM)에 새로운 가능성을 열어줄 수 있습니다. Groq의 LPU 칩을 사용하는 챗봇은 1초도 채 되지 않는 시간에 수백 개의 단어를 생성할 수 있어 사용자가 실시간으로 작업을 수행할 수 있도록 합니다. 한 테스트에서 Groq의 설립자 겸 CEO인 조나단 로스는 CNN 앵커가 지구 반대편에 있는 AI 챗봇과 실시간으로 음성 대화를 나누도록 안내했습니다.

ChatGPT, Gemini, Llama와 같은 AI 챗봇은 더 빠르게 응답할 수 있다면 훨씬 더 유용할 수 있습니다. 현재 이러한 챗봇의 주요 한계 중 하나는 실시간으로 사람의 말을 따라잡을 수 없다는 것입니다. 지연 시간이 길어지면 대화가 로봇처럼 되고 여러 분야에서 만족스럽지 못하게 됩니다.

Groq의 LPU를 둘러싼 과대광고에도 불구하고, 당장의 의문은 실제 애플리케이션에서 유사 제품과 어떻게 비교되는지입니다. 엔비디아의 GPU나 구글의 TPU와 달리, Groq의 LPU는 '범용' AI 칩이라기보다는 특정 작업에 최적화되도록 설계된 특수 AI 칩입니다.

또한, 주요 AI 개발사들이 엔비디아 제품에 대한 의존도를 줄이기 위해 자체 칩 개발에 나서고 있는 시점이기도 합니다. OpenAI는 자체 칩 개발을 위해 수조 달러의 자금을 확보하고자 하는 것으로 알려졌습니다. OpenAI의 CEO 샘 알트만은 완전히 새로운 AI 칩 아키텍처를 처음부터 재구축하는 방안까지 고려하고 있습니다.

(Cryptoslate에 따르면)