Groq의 특수 인공지능 (AI) 칩인 LPU가 소셜 미디어 플랫폼 X에서 공개된 벤치마크 테스트 결과가 확산되면서 순식간에 소셜 미디어에서 큰 화제를 모으고 있습니다.

Groq는 ' 세계에서 가장 빠른 자연어 처리 모델'을 제공한다고 주장하며, 광범위한 독립 테스트 결과 이러한 주장이 정확할 가능성이 높습니다.

735783 1szzxeq groq.jpg
Groq의 전용 LPU AI 칩은 실험에서 대규모 언어 모델에 대해 탁월한 성능을 제공합니다.

Groq는 LPU(언어 처리 장치)라고 불리는 특수 AI 칩을 제조하는데, 이 칩은 엔비디아의 GPU보다 빠르다고 알려져 있습니다. 엔비디아의 GPU는 AI 모델 실행을 위한 업계 표준으로 여겨지지만, 초기 결과에 따르면 LPU가 적어도 고속 처리가 필요한 작업에서는 GPU를 능가할 것으로 예상됩니다.

기본적으로 Groq의 LPU 칩은 ChatGPT 및 Gemini와 같은 챗봇이 매우 빠른 수신 및 응답 속도로 작동할 수 있도록 하는 '컴퓨팅 엔진'입니다. 테스트 결과, LPU 칩을 사용하는 챗봇은 지연 시간 대비 처리량, 총 응답 시간 등 여러 주요 성능 지표에서 다른 AI 칩을 사용하는 8개의 챗봇보다 우수한 성능을 보였습니다. 특히 Meta의 Llama 2-70b 모델로 테스트했을 때 LPU의 탁월한 성능이 가장 두드러지게 나타났습니다.

인공지능 전문 분석기관인 아티팩트 애널리시스(Artificial Analysis)의 독립적인 테스트 결과에 따르면, LPU 칩을 사용하는 챗봇은 초당 247개의 토큰을 처리할 수 있습니다. 비교하자면, 오픈AI의 ChatGPT는 현재 최대 초당 18개의 토큰만 처리할 수 있습니다. 이는 Groq에서 개발한 칩을 사용하면 ChatGPT가 최대 13배까지 빨라질 수 있음을 의미하지만, 이는 다른 여러 관련 요인에 따라 달라질 수 있습니다.

Artificial Analysis에 따르면, 이러한 수준의 성능은 다양한 분야에서 대규모 언어 모델(LLM)에 새로운 가능성을 열어줄 수 있습니다. Groq의 LPU 칩을 사용하는 챗봇은 순식간에 수백 개의 단어를 생성할 수 있어 사용자가 실시간으로 작업을 수행할 수 있도록 합니다. 한 실험에서 Groq의 창립자이자 CEO인 조나단 로스는 지구 반대편에 있는 AI 챗봇과 CNN 앵커가 실시간으로 음성 대화를 나누도록 안내했습니다.

ChatGPT, Gemini, Llama와 같은 AI 챗봇은 응답 속도가 빨라진다면 훨씬 더 유용해질 수 있습니다. 현재 가장 큰 한계점 중 하나는 이러한 챗봇이 사람의 말을 실시간으로 따라가지 못한다는 것입니다. 응답 속도 지연이 심해서 대화가 로봇처럼 부자연스럽게 들리고 여러 분야에 적합하지 않습니다.

Groq의 LPU 칩에 대한 기대가 크지만, 당면 과제는 유사 제품과 비교하여 실제 적용 가능성을 평가하는 것입니다. 엔비디아의 GPU나 구글의 TPU와는 달리, Groq의 LPU는 '범용' AI 칩이 아니라 특정 작업에 최적화되도록 설계된 특수 AI 칩입니다.

게다가, 주요 AI 개발사들이 엔비디아 제품에 대한 의존도를 낮추기 위해 자체 칩 개발에 나서고 있는 시점이기도 합니다. 오픈AI는 자체 칩 개발을 위해 수조 달러의 자금 조달을 모색하고 있는 것으로 알려져 있으며, 오픈AI의 CEO 샘 알트만은 AI 칩 아키텍처 전체를 처음부터 재구축하는 방안까지 고려하고 있습니다.

(크립토슬레이트에 따르면)