VMLU (Vietnamese Multitask Language Understanding) wurde von Zalo AI in Zusammenarbeit mit dem Japan Advanced Institute of Science and Technology (JAIST) entwickelt, um der KI-Forschungs- und Entwicklungsgemeinschaft in Vietnam mehr Werkzeuge zur Bewertung der Ausgabequalität vietnamesischer generativer KI-Modelle zur Verfügung zu stellen.
Demnach handelt es sich um einen vielschichtigen und mehrstufigen Satz vietnamesischer Bewertungsstandards, der mit 10.880 Multiple-Choice-Fragen zu 58 verschiedenen Themenbereichen den vielfältigsten Bedürfnissen des heutigen Marktes gerecht wird.
Warum benötigt AI Vietnam einen vollständigen Satz von Standards zur Beurteilung der vietnamesischen Sprachkenntnisse?
Das explosive Wachstum von ChatGPT hat einen neuen Wettlauf ausgelöst: Generative KI. Statistiken zufolge gibt es seit der Einführung von ChatGPT weltweit derzeit etwa 16.000 Modelle, die ChatGPT ähneln.
Auch Vietnam bildet hier keine Ausnahme: Zahlreiche Forschungsgruppen unterschiedlicher Größe und mit verschiedenen Potenzialen experimentieren mit generativer KI unter Verwendung der vietnamesischen Sprache. Dies hat den Bedarf an einem Kompetenztest für diese KI-Modelle im Bereich Vietnamesisch erhöht, um deren Kenntnisse und Denkvermögen zu messen.
Auf dem aktuellen Markt müssen die meisten LLM-Forschungsgruppen in Vietnam ihre eigenen Evaluierungsinstrumente mit eigenen Standards für ihre Modelle entwickeln. Diese internen Instrumente sind nicht öffentlich zugänglich. Das Evaluierungsinstrument von Zalo AI hingegen ist auf allgemeine Bedürfnisse ausgerichtet, kann als gemeinsamer Standard für LLM-Modelle dienen und wird der KI-Community zur Verfügung gestellt. Dies ermöglicht kleineren Forschungsgruppen den Zugriff auf umfassende Evaluierungsdatensätze und den Vergleich von Ergebnissen. Dadurch wird die Motivation zur Modellverbesserung gestärkt.
Vietnamesische KI motivieren, sich der weltweiten Welle der generativen KI anzuschließen
Im November 2023 veröffentlichte Zalo AI offiziell die VMLU-Standards zur Bewertung der Vietnamesischkenntnisse. Diese Standards wurden von Zalo AI-Ingenieuren in Zusammenarbeit mit dem JAIST-Institut entwickelt, um die Fähigkeit von KI-Modellen, insbesondere generativer KI, die vietnamesische Sprache zu verstehen und anzuwenden, zu bewerten.
Die Gründung von VMLU hat Einzelpersonen, Startups und kleine Forschungsgruppen dazu angeregt, neue vietnamesische KI-Modelle zu entwickeln. Dies schafft die Voraussetzungen für neue Forschung, legt den Grundstein für die Messung der Genauigkeit und die Verbesserung der Ergebnisse von Basismodellen und trägt so zur Vervollständigung der Entwicklung von KI-Anwendungen für die vietnamesische Sprache bei – entwickelt von Vietnamesen für Vietnamesen.
Dies ist auch einer der wichtigen Faktoren, die dazu beitragen, dass die Entwicklung der generativen KI in Vietnam schneller voranschreitet und mit der weltweiten Welle der KI-Entwicklung Schritt hält.
Welche Standards gelten für die Beurteilung der vietnamesischen Sprachkenntnisse?
Demnach handelt es sich um einen vielschichtigen und mehrstufigen Satz von Bewertungsstandards für die vietnamesische Sprache, der den vielfältigsten Bedürfnissen des vietnamesischen Marktes für Forschung und Entwicklung im Bereich generativer KI gerecht wird und sich auf zwei Hauptteile konzentriert: Daten (Testdatensatz) und einen Satz von Bewertungsstandards als Grundlage für das Testen von KI-Modellen, die die vietnamesische Sprache anwenden.
Der Datensatz umfasst 10.880 Multiple-Choice-Fragen zu 58 verschiedenen Themenbereichen. Jeder Themenbereich beinhaltet etwa 200 Fragen, die sich auf vier Fachrichtungen verteilen: MINT, Sozialwissenschaften, Geisteswissenschaften und eine übergeordnete Kategorie „Erweitert“. Mithilfe dieses Datensatzes bietet VMLU eine Schwierigkeitsstratifizierung in vier Stufen: Primarstufe, Sekundarstufe, Oberstufe und Berufsausbildung – für Universitäts- und Postgraduiertenstudiengänge. Das Toolkit unterstützt die effektive Bewertung der Vietnamesischkenntnisse von KI-Modellen sowohl im Hinblick auf grundlegendes Wissen als auch auf die Lösung komplexer Probleme.
Um Forschungsgruppen die Bewertung der Leistungsfähigkeit ihrer vietnamesischen KI-Modelle zu erleichtern, hat das Zalo AI-Entwicklungsteam außerdem begleitende Anweisungen entworfen, damit die Gruppen diese schnell und einfach nutzen können.
Beteilige dich an der vietnamesischen KI-Community
Der VMLU-Standard wurde als Forschungsprodukt mit dem Ziel entwickelt, insbesondere zur vietnamesischen KI-Forschungsgemeinschaft und allgemein zur Informationstechnologie-Gemeinschaft beizutragen, ohne dass dafür Benutzer, Forschungsgruppen oder Unternehmen zur Kasse gebeten werden.
Zalo AI hat bereits eine Reihe von Wettbewerben und Programmen für die vietnamesische KI-Community implementiert, durchgeführt und organisiert, wie zum Beispiel: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... Diese Aktivitäten schaffen nicht nur ein Spielfeld für die vietnamesische KI-Community, sondern fördern auch die Anwendung von KI im Alltag, lösen dringende soziale Probleme und dienen den Bedürfnissen von Millionen von Vietnamesen.
Dr. Chau Thanh Duc, Leiter der Zalo AI-Forschungsabteilung und Dozent an der Universität für Naturwissenschaften der Nationalen Universität Ho-Chi-Minh -Stadt, bekräftigte: „Zalo AI hat es sich zum Ziel gesetzt, einen Beitrag zur vietnamesischen KI-Community zu leisten und die Entwicklung von KI in Vietnam voranzutreiben. Wir erwarten, dass dadurch immer mehr KI-Produkte von Vietnamesen für Vietnamesen entstehen werden.“
Quelle
![[Foto] Parade zur Feier des 50. Jahrestages des Nationalfeiertags von Laos](/_next/image?url=https%3A%2F%2Fvphoto.vietnam.vn%2Fthumb%2F1200x675%2Fvietnam%2Fresource%2FIMAGE%2F2025%2F12%2F02%2F1764691918289_ndo_br_0-jpg.webp&w=3840&q=75)
Kommentar (0)