ベトナムのAIモデルの応用は数百万の訪問者を集めている

Zaloのベトナム人エンジニアリングチームによって開発された、130億のパラメータを持つ大規模言語モデルは、毎月多くのユーザーを惹きつける実用的なアプリケーションを次々と生み出しています。特に注目すべきは、ZaloのOA（公式アカウント）として運営されているKiki Info Q&Aアシスタントです。科学、歴史、交通法規など様々なトピックに関するQ&A、文章作成、メール作成、SNSへの投稿といったコンテンツ作成、そして観光地、音楽、書籍などの提案によるエンターテイメントという3つの機能を提供しています。

開発チームの統計によると、このアシスタントはわずか 2 か月足らずで最大 100 万人のユーザーが Zalo の OA アカウントにアクセスしました。

Kiki Info は Zalo メッセージングプラットフォームに統合されています。

Zaloの大規模言語モデルによって開発されたもう一つのアプリケーションがAIカードです。現在、ユーザーによって作成・送信されたカードは1500万枚に達しています。これは2ヶ月間で蓄積されたデータであり、ユーザーはAIカードを使って大切な祝日に親戚や友人にお祝いのメッセージを送っています。

これらのアプリケーションは、スマートな体験を提供することでユーザーから高い評価を得ており、生活における検索や意思決定にかかる時間を短縮するのに役立ちます。同時に、人間関係をより面白く、魅力的なものにするのにも役立ちます。

Zalo の LLM モデルは、ゼロからのトレーニング手法を使用して開発されています。パラメータの初期化、モデルアーキテクチャの決定から特定のデータセットでのアルゴリズムのトレーニングまで、すべてのプロセスを実装し、ベトナム人がトレーニングプロセスとモデルを完全に習得して制御できるようにします。

2024年末、ZaloのLLMモデルは、ベトナム語の能力を評価・ランキングするプラットフォームであるVMLU（ベトナム語マルチタスク言語理解ベンチマークスイート、大規模言語モデル（LLM））ランキングでトップ2にランクインしました。特に、Zaloの大規模言語モデルは、ゼロから学習したモデルのランキングでMetaのLlama-3-70Bに次ぐ2位に躍進し、GPT-4（OpenAI）、gemma-2-9b-it（Google）、microsoft/Phi-3-small-128k-instruct（Microsoft）といった有名モデルを公式に上回りました。

2024 年、Zalo の LLM モデルを使用してゼロから構築された LLM がトップ 2 にランクイン。

これは、ベトナム人が開発した大規模言語モデルとしては大きな成功と言えるでしょう。特に開発初期には多くの制約に直面していたにもかかわらずです。世界の大企業はNVIDIAの最新GPUを数千台も所有していましたが、当時ベトナムでは、エンジニアに必要なサーバーインフラが十分に整っていませんでした。

同時に、ベトナム語は英語や中国語に比べてデータリソースが数十倍も乏しいグループに属しています。さらに、ベトナムは世界の先進国と比較すると、人材と法学修士課程の研修経験の面でも限界があります。

Zaloは、世界と比較したトレーニング環境の限界を克服するための開発戦略を採用しています。コンピューティングインフラストラクチャに8台のDGX H100サーバーを装備することで、当時最新かつ最も希少なNVIDIAのGPUラインである最大256ペタFLOPS（浮動小数点演算/秒、1ペタFLOPSは10兆兆回/秒に相当）の性能を直接使用してLLMモデルを開発しました。

Zalo のサーバーシステムは優れた処理能力を備えています。

同時に、ベトナムのデータソース不足を補うため、高品質なトレーニングデータにも投資しています。Zaloのエンジニアは、民生用の小型GPUを用いた一連の研究を通じて、LLMをトレーニングするための知識と能力を身につけ、大規模なコンピューティングインフラストラクチャを所有した際にすぐに使えるプラットフォームを構築できる機会も得ています。

適切な開発方針のおかげで、Zaloは2023年にわずか6ヶ月の学習でベトナム語に特化した70億パラメータの大規模言語モデルの開発に成功し、VMLUベンチマークにおいてOpenAIのGPT3.5の150%の性能を達成しました。そして現在、VMLU 2024ランキングで数々の世界的名声を誇る企業を凌駕すると同時に、研究モデルをコミュニティ向けに実用展開しています。