Groq の特殊な人工知能(AI) チップである LPU は、公開されているベンチマーク テストがソーシャル メディア プラットフォーム X で広まり、一夜にしてソーシャル メディアで話題になっています。

Groq は「 世界最速の自然言語処理モデル」を提供すると主張しており、広範な独立テストによりその主張が正確である可能性が示唆されています。

735783 1szzxeq groq.jpg
Groq の専用 LPU AI チップは、実験における大規模言語モデルに優れたパフォーマンスを提供します。

GroqはLPU（言語処理ユニット）と呼ばれる特殊なAIチップを製造しており、これはNvidiaのGPUよりも高速と言われています。NvidiaのGPUはAIモデルの実行における業界標準とみなされることが多いですが、初期の結果では、少なくとも高速処理を必要とするタスクにおいては、LPUがGPUを上回ることが示唆されています。

GroqのLPUチップは、ChatGPTやGeminiといったチャットボットが極めて高速な受信・応答速度で動作することを可能にする「コンピューティングエンジン」です。実施されたテストでは、LPUチップを搭載したチャットボットは、レイテンシ対スループットや総応答時間など、いくつかの主要なパフォーマンス指標において、他のAIチップを搭載した8つのチャットボットよりも優れたパフォーマンスを示しました。LPUの優れたパフォーマンスは、MetaのLlama 2-70bモデルを用いたテストで最も顕著でした。

Artificial Analysisによる独立テストによると、LPUチップを使用したチャットボットは1秒あたり247トークンのスループットを達成できます。比較対象として、OpenAIのChatGPTは現在、最大1秒あたり18トークンのスループットしか達成していません。つまり、Groqが開発したチップを使用することで、ChatGPTは最大13倍高速化できる可能性がありますが、これは他の多くの関連要因に依存します。

Artificial Analysisによると、このレベルのパフォーマンスは、様々な分野における大規模言語モデル（LLM）の新たな可能性を切り開く可能性があるとのことです。GroqのLPUチップを搭載したチャットボットは、数百語を瞬時に生成できるため、ユーザーはリアルタイムでタスクを実行できます。ある実験では、Groqの創設者兼CEOであるジョナサン・ロス氏が、地球の反対側にいるCNNのキャスターとAIチャットボットとのライブ音声会話を指導しました。

ChatGPT、Gemini、LlamaといったAIチャットボットは、応答速度が速ければ、はるかに有用性が高まる可能性があります。しかし、現状の大きな制約の一つは、これらのチャットボットが人間の発話にリアルタイムで追従できないことです。大きな遅延により、会話がロボットのように聞こえ、多くの分野には不向きです。

GroqのLPUチップには大きな期待が寄せられているものの、当面の課題は、類似製品と比較した実用性を評価することです。NvidiaのGPUやGoogleのTPUとは異なり、GroqのLPUは「汎用」AIチップではなく、特定のタスクに最適化するように設計された特化型のAIチップです。

さらに、今は主要なAI開発者がNVIDIA製品への依存を回避するために独自のチップ開発を模索している時期でもあります。OpenAIは独自のチップ開発のために数兆ドルの資金を調達しようとしていると報じられています。OpenAIのCEO、サム・アルトマン氏は、AIチップのアーキテクチャ全体をゼロから再構築することさえ検討しています。

（Cryptoslateによると）