Groq が開発した専用の人工知能(AI) チップ LPU は、その公開ベンチマーク テストがソーシャル メディア プラットフォーム X で話題となり、一夜にしてソーシャル メディアで話題になっています。

Groq は「世界最速の自然言語処理モデル」を提供すると主張しており、広範な独立テストによりその主張が正確である可能性が示唆されています。

735783 1szzxeq groq.jpg
Groq が開発した専用の AI LPU チップは、実験における大規模言語モデルに優れたパフォーマンスを提供します。

Groqは、LPU（言語処理ユニット）と呼ばれる専用のAIチップを製造しており、これはNvidiaのGPUよりも高速と言われています。NvidiaのGPUはAIモデルの実行における業界標準とみなされることが多いですが、初期の結果では、少なくとも高速処理を必要とするタスクにおいては、LPUがGPUを上回る性能を発揮することが示唆されています。

GroqのLPUチップは、本質的にはChatGPTやGeminiといったチャットボットが超高速の受信・応答速度で動作することを可能にする「コンピューティングエンジン」です。実施されたテストでは、LPUを搭載したチャットボットは、レイテンシ対スループットや総応答時間など、いくつかの主要なパフォーマンス指標において、他のAIチップを搭載した8つのチャットボットを凌駕しました。LPUの優れたパフォーマンスは、MetaのLlama 2-70bモデルとのテストで最も顕著でした。

Artificial Analysisによる独立テストによると、LPUチップを使用したチャットボットは247トークン/秒のスループットを達成できます。比較として、OpenAIのChatGPTは現在、最大18トークン/秒のスループットしか達成していません。つまり、Groqのチップを使用すればChatGPTは13倍高速化できる可能性がありますが、これは他の多くの関連要因に依存します。

Artificial Analysisによると、このレベルのパフォーマンスは、幅広い分野における大規模言語モデル（LLM）の新たな可能性を切り開く可能性があるとのことです。GroqのLPUチップを搭載したチャットボットは、数百語を瞬時に生成できるため、ユーザーはリアルタイムでタスクを実行できます。あるテストでは、Groqの創業者兼CEOであるジョナサン・ロス氏が、CNNのキャスターを地球の反対側にいるAIチャットボットとリアルタイムで口頭会話させるという手法を用いました。

ChatGPT、Gemini、LlamaなどのAIチャットボットは、応答速度が速ければ、はるかに有用性が高まる可能性があります。しかし、現状の大きな制約の一つは、これらのチャットボットが人間の発話にリアルタイムで追従できないことです。大きな遅延は、会話をロボットのように扱い、多くの分野で満足のいくものではありません。

GroqのLPUは大きな話題となっているものの、実際のアプリケーションにおいて類似製品とどのように比較されるのかという疑問がすぐに湧いてきます。NvidiaのGPUやGoogleのTPUとは異なり、GroqのLPUは「汎用」AIチップではなく、特定のタスクに最適化するように設計された特化型のAIチップです。

さらに、主要なAI開発者がNVIDIA製品への依存を回避するため、独自のチップ開発を模索している時期でもあります。OpenAIは独自のチップ開発のために数兆ドル規模の資金を調達しようとしていると言われています。OpenAIのCEO、サム・アルトマン氏は、全く新しいAIチップアーキテクチャをゼロから構築することさえ検討しています。

（Cryptoslateによると）