Zalo の女性エンジニアがベトナムの技術を世界有数の AI カンファレンスに持ち込む。

Zaloで6年間勤務したブイ・ティ・クック氏は、人工知能への情熱をさらに深めることができました。卒業後はデータサイエンスの職に就き、その後ZaloのシニアAIエンジニアに就任。VMLU開発チームを代表し、2025年夏にオーストリア・ウィーンで開催されるACL（計算言語学会）カンファレンスで研究発表を行う予定です。

これは自然言語処理に関する主要な学術会議とされており、毎年2,000人以上の研究者が参加しています。NLPに関する多くの基礎研究が、業界標準となる前にここで発表されています。

「会議初日から、その規模とオープンな学術交流に圧倒されました」とクック氏は振り返る。多数のポスター展示、長時間にわたる技術議論、そしてMeta、Google、Appleなどの研究室の参加など、朝から晩まで研究に没頭する雰囲気が漂っていた。

ベトナムからオーストリアのウィーンへ

Bui Thi Cuc 氏の研究論文「ACL VMLU ベンチマーク: ベトナム語 LLM 向けの包括的なベンチマークツールキット」は、大規模なベトナム語モデルの評価ツールの不足に対処することを目的としています。

VMLUは、Zalo AIと北陸先端科学技術大学院大学（JAIST）によって2023年11月に立ち上げられ、ベトナム人ユーザーを対象とする大規模言語モデル（LLM）開発者がモデルの適切なトレーニング戦略を評価および開発できるようにするための共通標準セットを提供してきました。

ブイ・クック氏は、VMLUの開発中、メンバーはベンチマークの構築からデータ品質の確保まで、数多くの課題に直面したと述べた。しかし、最もストレスがかかったのは研究論文の提出プロセスだった。ACLの研究採択率はわずか25%程度で、世界中の多くの大規模なAI研究機関と競争しなければならなかった。

「ボーダーライン会議レベルの結果を受け取ったとき、つまり研究結果が受け入れられた時、チーム全員が予想以上に喜びました。その後、私は査読委員会からのフィードバックをすべて集め、直属の上司と話し合い、最終的に査読者を説得してスコアを引き上げ、研究論文がメイン会議で受け入れられるようにしました」とクック氏は振り返ります。

ザロ兄弟1

VMLU開発チームを代表して、Bui Thi Cuc氏がACLカンファレンスで研究プロジェクトを発表しました。

これは、大規模言語モデルのベトナム語理解能力を評価するために設計された初のベンチマークです。このベンチマークには、一般知識、読解力、推論力、対話力を評価する17,000問の質問を含む4つのデータセットが含まれています。

Zaloのエンジニアによると、現在のベンチマークのほとんどは英語向けに設計されており、ベトナム語の統語的、意味的、文化的文脈を十分に反映していないとのことです。英語の質問セットをベトナム語に直接翻訳すると、不正確な表現や意味のニュアンスが失われることがよくあります。

LLM評価フレームワークを簡単に説明すると、AIを能力を測る試験を受ける必要がある学生と想像してみてください。現在、ほとんどの試験は英語で行われていますが、Zalo AIチームは、AIがベトナム語を本当に理解し、使いこなせるかどうかをテストするために、ベトナム語の試験を作成したいと考えました。

Zalo AIのサイエンスディレクターであるグエン・チュオン・ソン氏は、次のように述べています。「VMLU評価システムは、大規模なベトナム語モデルを評価するための共通の『尺度』を提供します。公開後、国内外のAI研究コミュニティから多くの肯定的なフィードバックをいただきました。今後、VMLUは学術界だけでなく、AI製品を開発する企業においても、広く利用され、広く適用される評価基準となることを期待しています。」