VMLU (Vietnamese Multitask Language Understanding) wurde von Zalo AI in Zusammenarbeit mit dem Japan Advanced Institute of Science and Technology (JAIST) entwickelt, um der KI-Forschungs- und Entwicklungsgemeinschaft in Vietnam mehr Tools zur Bewertung der Ausgabequalität vietnamesischer generativer KI-Modelle zur Verfügung zu stellen.
Es handelt sich hierbei also um einen vielschichtigen, mehrstufigen vietnamesischen Prüfungsstandardsatz, der mit 10.880 Multiple-Choice-Fragen zu 58 verschiedenen Themengebieten den unterschiedlichsten Anforderungen am heutigen Markt gerecht wird.
Warum benötigt AI Vietnam einen vollständigen Satz von Standards zur Beurteilung der vietnamesischen Sprachkenntnisse?
Das explosive Wachstum von ChatGPT hat ein neues Rennen ausgelöst: Generative KI. Statistiken zufolge gibt es seit der Einführung von ChatGPT derzeit weltweit etwa 16.000 Modelle, die ChatGPT ähneln.
Auch Vietnam ist von diesem Trend nicht ausgeschlossen. Zahlreiche Forschungsgruppen unterschiedlicher Größenordnung und mit unterschiedlichem Potenzial experimentieren mit generativer KI auf Vietnamesisch. Daher ist ein Vietnamesisch-Kompetenztest für diese KI-Modelle erforderlich, um den Wissensstand und das Denkvermögen auf Vietnamesisch zu messen.
Im aktuellen Markt müssen die meisten LLM-Forschungsgruppen in Vietnam eigene Bewertungs-Toolkits mit eigenen Standards für ihre Modelle entwickeln. Dabei handelt es sich um interne Bewertungstools, die nicht öffentlich zugänglich sind. Das Bewertungs-Toolkit von Zalo AI ist auf allgemeine Bedürfnisse ausgerichtet, kann als gemeinsamer Standard für LLM-Modelle dienen und wird der KI-Community zur Verfügung gestellt. Dies ermöglicht kleinen Forschungsgruppen den Zugriff auf umfassende Bewertungsdatensätze und ermöglicht den Vergleich der Ergebnisse. Dies schafft die Motivation zur Modellverbesserung.
Vietnamesische KI dazu motivieren, sich der weltweiten Welle generativer KI anzuschließen
Im November 2023 gab Zalo AI offiziell die VMLU-Standards zur Bewertung der vietnamesischen Sprachkompetenz bekannt. Dabei handelt es sich um eine Reihe von Standards, die von den Ingenieuren von Zalo AI in Zusammenarbeit mit dem JAIST-Institut erforscht und entwickelt wurden, um die Fähigkeit von KI-Modellen, insbesondere generativer KI, zum Verständnis und zur Anwendung der vietnamesischen Sprache zu bewerten.
Die Gründung von VMLU hat Einzelpersonen, Startups und kleine Forschungsgruppen motiviert, neue vietnamesische KI-Modelle zu entwickeln. Dies schafft die Voraussetzungen für neue Forschung, legt den Grundstein für die Messung der Genauigkeit und die Verbesserung der Ergebnisse grundlegender Modelle und trägt dazu bei, den Entwicklungsprozess vietnamesischer KI-Anwendungen abzuschließen, die von Vietnamesen für Vietnamesen entwickelt wurden.
Dies ist auch einer der wichtigen Faktoren, die die Entwicklung der generativen KI in Vietnam beschleunigen und dafür sorgen, dass das Land mit der Welle der KI-Entwicklung in der Welt Schritt halten kann.
Welche Standards gelten für die Beurteilung der Vietnamesischkenntnisse?
Dementsprechend handelt es sich hierbei um einen Satz vielschichtiger, mehrstufiger Bewertungsstandards für die vietnamesische Sprache, der die unterschiedlichsten Anforderungen auf dem vietnamesischen Markt für Forschung und Entwicklung im Bereich der generativen KI erfüllt und sich auf zwei Hauptteile konzentriert: Daten (Testdatensatz) und einen Satz Bewertungsstandards als Grundlage für das Testen von KI-Modellen unter Verwendung der vietnamesischen Sprache.
Der Datensatz umfasst 10.880 Multiple-Choice-Fragen zu 58 verschiedenen Themen. Jedes Thema umfasst rund 200 Fragen und verteilt sich auf vier Bereiche: MINT, Sozialwissenschaften, Geisteswissenschaften und die breite Kategorie „Erweitert“. Mit diesem Datensatz erstellt die VMLU eine Schwierigkeitsstratifizierung mit vier Stufen: Grundschule, Sekundarstufe, Gymnasium und Berufsausbildung – für Universität und Aufbaustudium. Das Toolkit hilft dabei, die Vietnamesischkenntnisse von KI-Modellen sowohl im Grundwissen als auch bei der Lösung komplexer Probleme effektiv zu bewerten.
Um Forschungsgruppen die Bewertung der Fähigkeiten ihrer vietnamesischen KI-Modelle zu erleichtern, hat das Zalo AI-Entwicklungsteam außerdem Anweisungen entwickelt, mit denen die Gruppen sie schnell und einfach verwenden können.
Tragen Sie zur vietnamesischen KI-Community bei
Der VMLU-Standardsatz wurde als Forschungsprodukt entwickelt, das insbesondere zur vietnamesischen KI-Forschungsgemeinschaft und allgemein zur Informationstechnologie-Community beitragen und diese weiterentwickeln soll, ohne dass dafür Benutzer, Forschungsgruppen oder Unternehmen dafür Gebühren zahlen müssen.
Zuvor hat Zalo AI eine Reihe von Wettbewerben und Programmen für die vietnamesische KI-Community implementiert, bereitgestellt und organisiert, wie z. B.: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit ... Diese Aktivitäten schaffen nicht nur einen Spielplatz für die vietnamesische KI-Community, sondern fördern auch die Anwendung von KI im Leben, lösen dringende soziale Probleme und erfüllen die Bedürfnisse von Millionen Vietnamesen.
Dr. Chau Thanh Duc, Leiter der Zalo AI-Forschungsabteilung und Dozent an der Universität für Naturwissenschaften der Ho-Chi-Minh -Stadt-Nationaluniversität, bekräftigte: „Zalo AI möchte stets einen Beitrag zur vietnamesischen KI-Community leisten und die Entwicklung vietnamesischer KI motivieren. Wir erwarten daher immer mehr KI-Produkte von Vietnamesen für Vietnamesen.“
[Anzeige_2]
Quelle
Kommentar (0)