レッスン70の画像.png
ストレージとAIモデル間でシームレスにデータフローを実現する、スケーラブルなエンタープライズストレージシステム。写真：Midjourney

人工知能は、企業におけるデータの保存とアクセス方法に変革をもたらしています。従来のデータストレージシステムは、少数のユーザーからの単純なコマンドを一度に処理するように設計されていましたが、今日の数百万のエージェントを備えたAIシステムは、膨大な量のデータに継続的かつ並行してアクセスし、処理する必要があるためです。

従来のストレージ システムは現在、多くの複雑なレイヤーを抱えており、データが AI の「脳細胞」と考えられている GPU (グラフィック プロセッシング ユニット) に到達する前に多くのレイヤーを通過する必要があるため、AI の速度が低下します。

MITのマイケル・ツォ氏と太田宏氏が共同設立したCloudianは、データストレージがAI革命に対応できるよう支援しています。同社は、ストレージとAIモデル間のシームレスなデータフローを可能にする、スケーラブルなエンタープライズストレージシステムを開発しました。

このシステムは、ストレージに並列コンピューティングを適用し、ストレージと GPU および CPU の間の高速直接接続を使用して、大規模なデータセットの保存、取得、処理が可能な単一の並列処理プラットフォームに AI とデータ機能を統合することで複雑さを軽減します。

Cloudian の統合コンピューティング ストレージ プラットフォームは、商用規模での AI ツールの構築を簡素化するとともに、AI の爆発的な増加に対応できるストレージ インフラストラクチャを企業に提供します。

「AIについて多くの人が忘れがちなことの一つは、AIはデータがすべてだということです」とツォ氏は言います。「AIのパフォーマンスを10%向上させるには、データを10%増やしても、あるいは10倍にしても不十分です。1,000倍のデータが必要です。管理しやすい方法でデータを保存し、そこに計算を埋め込むことで、データを移動させることなく、入力された時点ですぐに処理できるようにする。それが業界の目指す方向です。」

オブジェクトストレージとAI

現在、Cloudianのプラットフォームはオブジェクトストレージアーキテクチャを採用しており、ドキュメント、 動画、センサーデータなど、あらゆる種類のデータがメタデータ付きの単一のオブジェクトとして保存されます。オブジェクトストレージは膨大なデータをフラットな構造で管理できるため、非構造化データやAIシステムに最適ですが、これまではデータをコンピューターのメモリにコピーせずにAIモデルに直接送信することは不可能で、レイテンシと電力の無駄が発生していました。

Cloudianは7月、オブジェクトストレージシステムをベクターデータベースで拡張したことを発表しました。ベクターデータベースは、AIですぐに利用できる形式でデータを保存します。データが取り込まれると、Cloudianはデータのベクトル形式をリアルタイムで計算し、レコメンデーションエンジン、検索、AIアシスタントなどのAIツールをサポートします。

Cloudianはまた、NVIDIAとの提携を発表し、同社のストレージシステムを同社のGPUと直接連携させることを目指しています。Cloudianによると、この新システムによりAI処理の高速化とコンピューティングコストの削減が可能になるとのこと。

「NVIDIAは約1年半前に私たちにアプローチしてきました。GPUは、そこに入力するデータがあって初めて真価を発揮するからです」とツォ氏は述べた。「今では、膨大なデータを移動するよりも、データにAIを組み込む方が簡単だと人々は気づいています。私たちのストレージシステムには多くのAI機能が組み込まれているため、データを収集して保存する場所の近くで、データの前処理と後処理を行うことができます。」

AI優先ストレージ

Cloudian は、大手メーカー、金融機関、 医療施設、政府機関など、世界中の約 1,000 社の企業がデータから最大限の価値を引き出せるよう支援しています。

例えば、Cloudianのストレージプラットフォームは、大手自動車メーカーがAIを活用して各生産ロボットのメンテナンス時期を判断できるよう支援しています。Cloudianはまた、米国国立医学図書館と提携して研究論文や特許を保存し、国立癌データベースと提携して腫瘍DNA配列を保存しています。これらはAIが処理できる豊富なデータセットであり、新しい治療法や発見の研究に役立ちます。

「GPUは大きな可能性を秘めています」とツォ氏は言います。「ムーアの法則は2年ごとに計算能力を倍増させますが、GPUはチップ上でタスクを並列化し、複数のGPUを連結することで、ムーアの法則を超えることができます。このスケールはAIを新たなレベルの知能へと押し上げますが、GPUの性能を最大限に発揮させる唯一の方法は、その計算能力と同じ速度でデータを供給することです。そして、そのためにはGPUとデータの間にあるすべてのレイヤーを取り除くしかありません。」

（MITによると）

出典: https://vietnamnet.vn/cloudian-dua-du-lieu-den-gan-ai-hon-bao-gio-het-2433241.html