DeepSeek がその秘密を明らかにします。

DeepSeekが低コストのAIモデルの構築方法を公開。写真：ブルームバーグ

DeepSeekは5月15日に公開された調査レポートで、競合他社の数分の1のコストで世界で最も強力なオープンソースAIシステムの1つを構築した方法について、初めて詳細を公開した。

「DeepSeek-V3の洞察：AIアーキテクチャにおけるスケーリングの課題とハードウェアへの考察」と題されたこの調査は、創業者のLiang Wenfeng氏との共著です。DeepSeekは、ハードウェアとソフトウェアの並行設計が成功の要因であるとしており、これは依然としてソフトウェアの個別最適化に重点を置いている多くの企業とは一線を画すアプローチです。

「2,048基のNvidia H800 GPUで学習したDeepSeek-V3は、並列設計がいかに効率的に課題を解決し、大規模な学習と推論を可能にするかを実証した」と研究チームは報告書に記している。DeepSeekとヘッジファンドのHigh-Flyerは、2023年から米国が中国への輸出を禁止する前に、H800チップを備蓄していた。

記事によると、DeepSeekの研究チームは、OpenAIのChatGPTのようなチャットボットの基盤技術である大規模言語モデル（LLM）のハードウェア限界とトレーニングコストの莫大さを十分に認識していました。そのため、メモリ性能の向上、チップ間の通信の改善、そしてAIインフラストラクチャ全体の効率向上を目指し、一連の技術的最適化を実施しました。

さらに、DeepSeekは混合エキスパートモデル（MoE）アーキテクチャの役割を重視しています。これは、AIモデルをサブネットワークに分割し、各サブネットワークが入力データの個別の部分を処理し、協調して結果を最適化する機械学習手法です。

MoEは学習コストの削減と推論速度の高速化に役立ちます。この手法は現在、アリババの最新モデルQwen3をはじめ、中国のテクノロジー業界で広く採用されています。

DeepSeekが初めて注目を集めたのは、2024年12月に基本モデルV3を、そして1月に推論モデルR1をリリースした時でした。これらの製品は世界市場に衝撃を与え、AI関連テクノロジー株の大幅な下落につながりました。

DeepSeekは最近、更なる計画を明らかにしていないものの、定期的なレポートを通じてコミュニティの関心を維持してきました。3月下旬にはDeepSeek-V3のマイナーアップデートをリリースし、4月末には数学証明処理用のProver-V2システムをひっそりとリリースしました。

出典: https://znews.vn/deepseek-tiet-lo-bi-mat-post1554222.html