Zalo AIとJAIST研究所がコミュニティと協力し、高度な法学修士号（LLM）を開発

人工知能（AI）は、AIモデル研究における重要な進歩のおかげで爆発的な発展を遂げ、かつてないほどの機会を切り開いています。これにより、AIの応用を促進し、実用的なニーズに応える製品を開発するための基盤が整いました。ベトナムでは、ChatGPTの急速な発展が世界中で同様のAIモデルの誕生につながった直後、規模や可能性の異なる国内の研究グループが、ベトナム語の大規模言語モデル（LLM）の構築という競争に加わりました。

ベトナム語の LLM モデルの普及には、開発者が適切なトレーニング戦略を立てるためにモデルの品質を測定するのに役立つ一般的な評価基準のセットが必要です。

プラットフォーム開発会社Zalo AIの科学ディレクターであるNguyen Truong Son博士は、VMLUベトナムLLMを次のように評価しました。「ベトナム市場には、世界と比較すると品質評価基準が欠けています。」

VMLU LLM 評価プラットフォームは、Zalo AI と北陸先端科学技術大学院大学 (JAIST) によって開発されました。

Nguyen Truong Son 博士によると、この現実には、ベトナムの AI コミュニティが協力して、ベトナムの AI モデルを適切かつ十分に評価するための共通標準を作成し、より高品質なモデルの開発の基盤を構築する必要があるとのことです。

新たな品質基準の開発を促進する

2023年11月、Zalo AIと北陸先端科学技術大学院大学（JAIST）は協力し、ベトナム語のLLMモデルの品質を評価するための標準規格「VMLU（Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models）」を構築し、コミュニティに無料で提供します。これは、ベトナムの第一線の専門家チームによって研究され、コミュニティに公開された初の「Make in Vietnam」標準規格となります。

ベトナムのLLM研究グループは、独自の基準で独自の評価ツールを構築する必要がなく、包括的かつ一般的な評価データセットにアクセスできるようになりました。

VMLU基準は、STEM、社会科学、人文科学、そして発展教育を含む4つの分野に焦点を当てており、難易度は初等教育、中等教育、高等教育、そして専門教育（学部および大学院）と段階的に上がっています。2023年版では、58のトピックを網羅し、複数のレベルに分かれた10,880問の多肢選択式問題が用意されており、LLMの基礎知識を効果的に評価するのに役立っています。

2024年末までに、VMLUは45のLLMをランキングに掲載し、155以上の組織や個人から評価依頼を受け、プラットフォームからの評価基準のダウンロード数は691件、LLM評価は3,729件に達しました。国内外の多くの組織がVMLUの基準を利用しており、VinBigData、VNPT AI、 Viettel Solutions、ホーチミン市工科大学（VNU）、UONLP x Ontocord（オレゴン大学（米国）、DAMO Academy（アリババグループ）、SDSRVチーム（サムスン）などが挙げられます。

新しいフェーズでは、LLM モデルが大幅にアップグレードされ、複雑な能力をより深く評価するためのベンチマークが必要になります。

「LLMモデルはより賢くなり、質問をほぼ完全に理解し、正確に回答できるようになりました。そのため、開発者はLLMに人間と同様の読解力、計画力、対話力、推論力といった多様な能力を装備させることにますます注力しています」と、VMLU評価セットの開発においてZalo AIのパートナーである北陸先端科学技術大学院大学（JAIST）のグエン・レ・ミン教授は述べています。

VMLU は、ますます多様化する開発者のニーズに応えて、(1) 読解力 (ViSQuAD)、(2) 推論力 (ViDrop)、(3) インタラクション (ViDialog) の 3 つのスキルを評価するための新しい一連の標準を最近立ち上げました。

VMLU 2025 標準。

個人や研究グループがモデルを評価できるように、新しい標準セットが VMLU ウェブサイト https://vmlu.ai/ で公開されました。

AI習得コミュニティへの取り組み

VMLUの専門家は、大規模な言語モデルをより包括的に評価し、ユーザーの使用パターンをより正確に反映するために、難易度の異なるさまざまなドメインでより多様な評価セットの研究と構築を継続すると述べた。

さらに、VMLU は、ベトナムの LLM が責任を持って開発されることを保証するために、LLM モデルの安全性と整合性に関する一連の評価基準を開発することを目指しています。

ベトナム人の新技術習得能力と精神を促進するため、VMLU の評価基準はベトナムの LLM 研究コミュニティに引き続き無料で提供されます。

VMLU 2025 標準が VMLU ウェブサイトで更新されました。

ベトナムの人工知能分野の先駆者として、Zalo AI は常にコミュニティとともにベトナムのユーザー向けの AI ソリューションの研究開発に取り組んでいます。

Zalo AIは、主要なベトナム語モデルの能力を評価・ランキングするプラットフォームに加え、2017年からZalo AI Challengeと年次フォーラムZalo AI Summitも開催しています。これらのイベントは、ベトナムのAIコミュニティを繋ぐだけでなく、ベトナムの人々によるベトナムの人々のためのAI技術製品の創出を刺激し、促進することにも貢献しています。

出典: https://znews.vn/zalo-ai-vien-jaist-dong-hanh-cung-cong-dong-phat-trien-llm-bac-cao-post1589913.html