Zalo AI und JAIST Institute arbeiten mit der Community zusammen, um ein fortschrittliches LLM zu entwickeln

Künstliche Intelligenz (KI) entwickelt sich explosionsartig und eröffnet dank wichtiger Fortschritte in der KI-Modellforschung beispiellose Möglichkeiten. Dies schafft die Voraussetzung für die Förderung von Anwendungen und die Entwicklung praxisorientierter Produkte. In Vietnam haben sich unmittelbar nach der starken Entwicklung von ChatGPT, die weltweit zur Entstehung einer Reihe ähnlicher KI-Modelle führte, einheimische Forschungsgruppen unterschiedlicher Größenordnung und mit unterschiedlichem Potenzial in das Rennen eingemischt und vietnamesische Großsprachenmodelle (LLM) entwickelt.

Die Verbreitung vietnamesischer LLM-Modelle erfordert eine Reihe allgemeiner Bewertungskriterien, die Entwicklern dabei helfen, die Modellqualität zu messen, um über geeignete Trainingsstrategien zu verfügen.

Dr. Nguyen Truong Son – wissenschaftlicher Leiter bei Zalo AI, dem Entwickler der Plattform – bewertete den vietnamesischen LLM von VMLU wie folgt: „Im weltweiten Vergleich mangelt es dem vietnamesischen Markt an Qualitätsbewertungsstandards.“

Die VMLU LLM-Bewertungsplattform wurde von Zalo AI und dem Japan Advanced Institute of Science and Technology (JAIST) entwickelt.

Laut Dr. Nguyen Truong Son erfordert diese Realität, dass die vietnamesische KI-Community zusammenarbeitet, um gemeinsame Standards zu schaffen, die dabei helfen, vietnamesische KI-Modelle richtig und angemessen zu bewerten und so eine Grundlage für die Entwicklung von Modellen mit zunehmend besserer Qualität zu schaffen.

Förderung der Entwicklung neuer Qualitätsstandards

Im November 2023 werden Zalo AI und das Japan Advanced Institute of Science and Technology (JAIST) zusammenarbeiten, um einen Satz von Standards zur Bewertung der Qualität vietnamesischer LLM-Modelle namens VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models) zu entwickeln und der Community kostenlos zur Verfügung zu stellen. Dies ist der erste Satz von „Make in Vietnam“-Standards, der von einem Team führender vietnamesischer Experten erforscht und der Community vorgestellt wurde.

Anstatt eigene Bewertungstools mit eigenen Standards erstellen zu müssen, konnten vietnamesische LLM-Forschungsgruppen auf einen umfassenden und allgemeinen Bewertungsdatensatz zugreifen.

Die VMLU-Standards konzentrieren sich auf vier Bereiche: MINT, Sozialwissenschaften, Geisteswissenschaften und Weiterbildung mit steigendem Schwierigkeitsgrad: Grundschule, Sekundarstufe, Gymnasium und Berufsausbildung (Bachelor & Master). Mit 10.880 Multiple-Choice-Fragen zu 58 Themen, aufgeteilt in mehrere Stufen, trägt die Version 2023 dazu bei, die Grundkenntnisse des LLM effektiv zu erfassen.

Bis Ende 2024 hatte die VMLU 45 LLMs in der Rangliste veröffentlicht, Bewertungsanfragen von mehr als 155 Organisationen und Einzelpersonen erhalten und 691 Downloads der Bewertungskriterien sowie 3.729 LLM-Bewertungen von der Plattform zusammengefasst. Viele in- und ausländische Organisationen verwenden die VMLU-Standards, wie z. B. VinBigData, VNPT AI, Viettel Solutions, die Technische Universität Ho-Chi-Minh-Stadt (VNU), UONLP x Ontocord (Oregon University (USA), DAMO Academy (Alibaba Group), SDSRV-Teams (Samsung) usw.

In der neuen Phase werden die LLM-Modelle stark verbessert und erfordern Benchmarks, um komplexe Kompetenzen eingehender zu bewerten.

„LLM-Modelle werden immer intelligenter und sind fast vollständig in der Lage, Fragen richtig zu verstehen und zu beantworten. Daher konzentrieren sich Entwickler verstärkt darauf, LLMs mit vielfältigen Fähigkeiten wie Leseverständnis, Planung, Dialog und logischem Denken auszustatten, die denen des Menschen ähneln“, sagte Professor Nguyen Le Minh vom Japan Advanced Institute of Science and Technology (JAIST), einem Partner von Zalo AI bei der Entwicklung des VMLU-Bewertungssatzes.

Als Reaktion auf die zunehmend vielfältigen Anforderungen der Entwickler hat VMLU vor Kurzem einen neuen Satz von Standards zur Bewertung von drei Fähigkeiten eingeführt, darunter (1) Leseverständnis (ViSQuAD), (2) Argumentation (ViDrop) und (3) Interaktion (ViDialog).

VMLU 2025-Standards.

Der neue Satz von Standards wurde auf der VMLU-Website https://vmlu.ai/ veröffentlicht, damit Einzelpersonen und Forschungsgruppen ihre Modelle bewerten können.

Bemühungen zur Begleitung der KI-Meisterschaftsgemeinschaft

Die Experten der VMLU sagten, sie würden ihre Forschung fortsetzen und vielfältigere Bewertungssätze in verschiedenen Bereichen mit unterschiedlichen Schwierigkeitsgraden erstellen, um große Sprachmodelle umfassender zu bewerten und die Nutzungsmuster der Benutzer genauer widerzuspiegeln.

Darüber hinaus zielt VMLU darauf ab, eine Reihe von Bewertungsstandards für die Sicherheit und Integrität des LLM-Modells zu entwickeln, um sicherzustellen, dass vietnamesische LLMs verantwortungsvoll entwickelt werden.

Um die Fähigkeit und den Geist der Vietnamesen zur Aneignung neuer Technologien zu fördern, werden die Bewertungsstandards der VMLU der vietnamesischen LLM-Forschungsgemeinschaft weiterhin kostenlos zur Verfügung gestellt.

Die VMLU 2025-Standards wurden auf der VMLU-Website aktualisiert.

Als Pionier auf dem Gebiet der künstlichen Intelligenz in Vietnam begleitet Zalo AI die Community auch stets bei der Erforschung und Entwicklung von KI-Lösungen für vietnamesische Benutzer.

Neben der Plattform zur Bewertung und Einstufung der Fähigkeiten wichtiger vietnamesischer Sprachmodelle organisiert Zalo AI seit 2017 auch die Zalo AI Challenge und das jährliche Zalo AI Summit-Forum. Diese Veranstaltungen vernetzen nicht nur die vietnamesische KI-Community, sondern tragen auch dazu bei, die Entwicklung von KI-Technologieprodukten durch Vietnamesen zum Wohle der Vietnamesen zu inspirieren und zu fördern.

Quelle: https://znews.vn/zalo-ai-vien-jaist-dong-hanh-cung-cong-dong-phat-trien-llm-bac-cao-post1589913.html