ベトナムの AI モデルの応用には数百万のアクセスが集まっています。

Zaloのベトナム人エンジニアリングチームによって開発された、130億のパラメータを持つ大規模言語モデルは、毎月多数のユーザーを獲得する一連の実用的なアプリケーションを推進しています。中でも特筆すべきは、Zaloの公式アカウント（OA）として運営されている総合Q&Aアシスタント「Kiki Info」です。Kiki Infoは、科学、歴史、交通法規など様々なトピックに関するQ&A、エッセイの執筆、メールの作成、ソーシャルメディアへの投稿といったコンテンツ作成、そして旅行先、音楽、書籍などの提案によるエンターテイメントという3つの機能を提供しています。

開発チームの統計によると、このアシスタントはわずか 2 か月以内に最大 100 万人のユーザーが Zalo 公式アカウント (OA) にアクセスしました。

Kiki Info は Zalo メッセージングプラットフォームに統合されています。

Zaloの大規模言語モデルを用いて開発されたもう一つのアプリケーションはAIグリーティングカードで、ユーザーによって作成・送信されたカードの数は1,500万枚に達しています。このデータは2ヶ月かけて収集されたもので、ユーザーがAIグリーティングカードを使って大切な日に家族や友人にお祝いのメッセージを送っていた様子が分かります。

これらのアプリは、生活における検索時間や意思決定の時間を短縮するインテリジェントな体験を提供することで、ユーザーから高い評価を得ています。また、他者とのつながりや人間関係の構築をより楽しく、魅力的なものにしてくれます。

Zalo の LLM モデルは、クロストレーニング手法を使用して開発されています。これは、パラメータの初期化とモデルアーキテクチャの意思決定から特定のデータセットでのトレーニングアルゴリズムまで、すべてのプロセスを実装し、ベトナムのユーザーがトレーニングプロセスとモデルを完全に習得して制御できるようにします。

2024年末、ZaloのLLMモデルは、ベトナム語LLM（大規模言語モデル向けベトナム語マルチタスク言語理解ベンチマークスイート）のベトナム語能力を評価・ランキングするプラットフォームであるVMLUランキングでトップ2にランクインしました。特に、Zaloの大規模言語モデルは、ゼロから学習したモデルのランキングでMetaのLlama-3-70Bに次ぐ2位に躍進し、GPT-4（OpenAI）、gemma-2-9b-it（Google）、microsoft/Phi-3-small-128k-instruct（Microsoft）といった主要モデルを公式に上回りました。

ゼロから構築された LLM の 2024 年ランキング。Zalo の LLM モデルがトップ 2 にランクイン。

これは、ベトナム人が開発した大規模プログラミング言語としては、特に初期段階で直面した数々の制約を考慮すると、大きな成功でした。世界中の大企業がNVIDIAの最新GPUを数千台も所有していた一方で、当時のベトナムでは、エンジニアたちは必要なサーバーインフラをまだ備えていませんでした。

同時に、ベトナム語は英語や中国語に比べてデータリソースが数十倍も乏しい言語の一つでもあります。さらに、ベトナムは世界の先進国と比較して、法学修士（LLM）の育成における人材と経験の不足にも悩まされています。

Zaloは、世界と比較して自社のトレーニング環境の限界を克服するための開発戦略を採用しました。コンピューティングインフラストラクチャに8台のDGX H100サーバーを装備することで、当時最新かつ最も希少なNVIDIAのGPUを直接使用してLLMモデルを開発し、最大256ペタFLOPS（1秒あたりの浮動小数点演算回数、1ペタFLOPSは1秒あたり10京回の計算に相当）の性能を実現しました。

Zalo のサーバーシステムは優れた処理能力を備えています。

同時に、ベトナム語のデータソース不足を補うため、高品質なトレーニングデータの開発にも投資してきました。Zaloのエンジニアは、小型のコンシューマー向けGPUを対象とした一連の研究を通じて、LLMに関する知識とトレーニング能力を習得する機会も活用し、大規模なコンピューティングインフラストラクチャを導入する際に活用できる基盤を構築しました。

適切な開発戦略により、Zaloは2023年にわずか6ヶ月の学習期間でベトナム語に特化した70億パラメータの大規模言語モデルの開発に成功し、VMLUベンチマークにおいてOpenAIのGPT3.5の150%の性能を達成しました。現在、VMLU 2024ランキングで数々の世界的名声を獲得し、研究モデルをコミュニティ向けに実用化に向けて展開しています。

Zalo の LLM モデルは、2023 年に初めてリリースされたとき、ChatGPT 3.5、ChatGPT 4.0、Llama、PhoGPT、実際のプレーヤーなどのさまざまなグローバルモデルと競合しました。

Zaloによると、LLMモデルは、より多くの世界クラスのAIアプリケーションをユーザーに提供するために、トレーニングへの投資を継続する予定です。これにより、ユーザーは高度なAI技術を習得できるようになり、科学、技術、イノベーション、そして国家のデジタル変革における画期的な方向性を持つ、国の技術開発の新たな時代へと前進することができます。

出典: https://znews.vn/ung-dung-cua-mo-hinh-ai-viet-dang-thu-hut-hang-trieu-luot-truy-cap-post1563330.html