
GPUはAIコンピューターの頭脳である。
簡単に言うと、グラフィックス処理ユニット(GPU)はAIコンピュータの頭脳のような役割を果たす。
ご存知のとおり、中央処理装置(CPU)はコンピュータの頭脳です。GPUの利点は、複雑な計算を実行するための専用CPUであるという点にあります。これらの計算を最も速く実行する方法は、複数のGPUを連携させて問題を解決することです。それでも、AIモデルのトレーニングには数週間、場合によっては数か月かかることがあります。構築されたモデルはフロントエンドのコンピュータシステムに配置され、ユーザーはAIモデルに質問することができます。このプロセスは推論と呼ばれます。
AIコンピュータには複数のGPUが搭載されている。
AI問題を解決するための最適なアーキテクチャは、ラック内に複数のGPUを配置し、ラック上部のスイッチに接続する構成です。複数のGPUラックは、階層的なネットワーク接続システムでさらに接続できます。解決すべき問題が複雑化するにつれて、GPUの要件も増加し、プロジェクトによっては数千個のGPUからなるクラスターを導入する必要が生じる場合もあります。
各AIクラスターは小さなネットワークである。
AIクラスターを構築する際には、GPU同士を接続し、効率的に連携してデータを共有できるようにするための小規模なコンピュータネットワークを構築する必要がある。

上の図はAIクラスタを示しており、下部の円はGPU上で実行されるワークフローを表しています。GPUは最上段のラック(ToR)上のスイッチに接続されています。これらのToRスイッチは、図に示されているネットワークバックボーンスイッチにも接続されており、複数のGPUが関与する場合に必要な明確なネットワーク階層を示しています。
ネットワークはAI導入におけるボトルネックとなっている。
昨秋、次世代AIインフラの構築に取り組む参加者が集まったオープン・コンピュータ・プロジェクト(OCP)のグローバルサミットにおいて、マーベル・テクノロジーのロイ・グエン氏は重要な問題点を指摘した。「ネットワークが新たなボトルネックになっている」。
技術的には、ネットワークの混雑によるパケット遅延の増加やパケット損失は、パケットの再送信を引き起こし、ジョブ完了時間(JCT)を大幅に増加させる可能性があります。その結果、非効率なAIシステムのために、企業が所有する数百万ドル、あるいは数千万ドル相当のGPUが無駄になり、収益と市場投入までの時間の両面で企業に損害を与えています。
テストと測定は、AIネットワークの正常な運用にとって極めて重要な条件である。
AIクラスタを効率的に運用するには、GPUがその能力を最大限に活用してトレーニング時間を短縮し、学習モデルを実装して投資対効果を最大化する必要があります。そのため、AIクラスタのパフォーマンスをテストおよび評価することが不可欠です(図2)。しかし、システムアーキテクチャには多くの設定とGPUとネットワーク構造間の関係が含まれており、問題を解決するにはそれらが相互に補完し合う必要があるため、この作業は容易ではありません。

これは、AIネットワークの測定において多くの困難と課題を生み出す。
実験室で生産ネットワーク全体を再現する際の課題は、コスト、設備、高度なスキルを持つAIネットワークエンジニアの不足、スペース、電源、温度などの制約によるものです。
・生産システムにおける現場テストは、生産システム自体の処理能力を低下させる。
問題の規模や範囲の違いにより、問題を正確に再現することが困難である。
- GPUが集合的に接続される仕組みの複雑さ。
これらの課題に対処するため、企業はラボ環境で提案された構成の一部についてベンチマークテストを実施し、JCT(ジョブ完了時間)、AIチームが達成可能な帯域幅などの主要パラメータをベンチマークし、プラットフォームの使用状況やキャッシュの使用状況と比較することができます。このベンチマークテストは、GPU/処理ワークロードとネットワーク設計/設置の最適なバランスを見つけるのに役立ちます。結果に満足したら、コンピュータアーキテクトとネットワークエンジニアはこれらの構成を本番環境に適用し、新たな成果を測定できます。
企業の研究室、研究機関、大学は、大規模ネットワークにおける課題、特にベストプラクティスが絶えず変化する状況に対応するため、効果的なAIネットワークの構築と運用に関するあらゆる側面を分析しようと取り組んでいます。このような再現性のある共同アプローチこそが、企業が再現可能な測定と迅速な「もし~ならば」シナリオテストを実行する唯一の方法であり、AIを活用したネットワークを最適化する上で不可欠です。
(出典:キーサイト・テクノロジーズ)
出典: https://vietnamnet.vn/ket-noi-mang-ai-5-dieu-can-biet-2321288.html










