アルファベット傘下のグーグルは4月4日、自社の人工知能（AI）モデルのトレーニングに使用しているスーパーコンピューターに関する新たな詳細を明らかにし、これらのシステムはライバルのテクノロジー企業エヌビディアの同等のシステムよりも高速でエネルギー効率が高いと強調した。
Googleは、Tensor Processing Unit（TPU）と呼ばれる特定用途向け集積回路を開発しました。これは同社の第4世代TPUです。Google は、AIトレーニングの90%以上にこのチップを使用しています。AIトレーニングとは、モデルにデータを入力することで、人間と同じようにテキストクエリに回答したり、画像を生成するといったタスクにAIを役立てるプロセスです。
グーグルは同日発行の科学誌で、自社開発の光スイッチを使って4,000個以上のチップを接続し、スーパーコンピュータを構成した方法を詳しく述べた。
こうした接続性の向上は、AIスーパーコンピュータ企業間の競争において重要な要素となっています。GoogleのBardやOpenAIのChatGPTチャットボットといった最先端技術を支える多言語畳み込みモデルは、1つのチップに収まりきらないほど巨大化しているためです。そのため、これらの大規模な言語モデルは数千個のチップに保存され、数週間あるいはそれ以上かけて集約され、インテリジェントな情報処理モデルを学習させています。
これまでで最も包括的な多言語モデルである Google の PaLM は、2 台の 4,000 チップ スーパーコンピューターで 50 日間にわたってトレーニングされました。
Googleは、同社のスーパーコンピューターはチップ間の接続の再構成をより高速かつ容易にし、問題やパフォーマンス向上のための微調整を回避できると述べている。同社のスーパーコンピューターは、A100チップを搭載し、第4世代TPUと同時に提供されたNVIDIAの同等のシステムと比較して、1.7倍の速度と1.9倍のエネルギー効率を実現している。
スーパーコンピューターの詳細はつい最近明らかになったばかりだが、この最先端システムは2020年から米国オクラホマ州メイズ郡のグーグルデータセンターに導入されている。
Google は、スタートアップ企業の Midjourney が Google のスーパーコンピューターを使用して、テキスト形式のいくつかの単語によるリクエストに基づいて新しい画像を生成するモデルをトレーニングしたと付け加えた。
VNA
[広告2]
ソース
コメント (0)