Eine Ingenieurin von Zalo bringt vietnamesische Technologie zur weltweit führenden KI-Konferenz.

Sechs Jahre bei Zalo haben es Bui Thi Cuc ermöglicht, ihre Leidenschaft für künstliche Intelligenz weiterzuentwickeln. Direkt nach ihrem Abschluss begann sie als Data Scientist und ist mittlerweile Senior AI Engineer bei Zalo. Dort vertritt sie das VMLU-Entwicklungsteam und präsentiert ihre Forschungsergebnisse auf der ACL-Konferenz (Association for Computational Linguistics) im Sommer 2025 in Wien.

Diese Konferenz gilt als führende wissenschaftliche Veranstaltung im Bereich der natürlichen Sprachverarbeitung und zieht jährlich über 2.000 Forscher an. Viele grundlegende Arbeiten zur NLP wurden hier vorgestellt, bevor sie zu Industriestandards wurden.

„Schon am ersten Tag der Konferenz war ich überwältigt von dem Ausmaß und dem offenen akademischen Austausch“, erinnerte sich Cúc. Die Forschungsatmosphäre war von morgens bis abends durchgehend präsent, mit zahlreichen Posterpräsentationen, ausführlichen Fachdiskussionen und der Anwesenheit von Laboren von Meta, Google, Apple und anderen.

Von Vietnam nach Wien, Österreich

Bui Thi Cucs Forschungsarbeit mit dem Titel „ACL VMLU Benchmarks: Ein umfassendes Benchmark-Toolkit für vietnamesische LLMs“ zielt darauf ab, den Mangel an Evaluierungsinstrumenten für groß angelegte vietnamesische Sprachmodelle zu beheben.

Die VMLU wurde im November 2023 von Zalo AI und dem Japan Advanced Institute of Science and Technology (JAIST) ins Leben gerufen und bietet einen gemeinsamen Satz von Standards, um Entwicklern von groß angelegten Sprachmodellen (LLM), die sich an vietnamesische Nutzer richten, bei der Bewertung und Entwicklung geeigneter Trainingsstrategien für ihre Modelle zu helfen.

Bui Cuc erklärte, dass die Mitglieder von VMLU während der Entwicklung zahlreiche Herausforderungen bewältigen mussten, von der Erstellung von Benchmarks bis zur Sicherstellung der Datenqualität. Die stressigste Phase war jedoch der Einreichungsprozess der Forschungsarbeiten. Die Annahmequote für Forschungsprojekte am ACL liegt bei nur etwa 25 %, und sie mussten sich gegen viele große KI-Forschungseinrichtungen weltweit behaupten.

„Als wir die Ergebnisse der Borderline-Konferenz erhielten – die Ergebnisse also angenommen wurden –, war das gesamte Team erfreuter als erwartet. Anschließend sammelte ich das gesamte Feedback des Gutachtergremiums, besprach es mit meinem direkten Vorgesetzten und konnte die Gutachter schließlich davon überzeugen, die Bewertung anzuheben, damit die Forschungsarbeit auf der Hauptkonferenz angenommen werden konnte“, erinnerte sich Cúc.

Frau Bui Thi Cuc, die das VMLU-Entwicklungsteam vertrat, präsentierte das Forschungsprojekt auf der ACL-Konferenz.

Dies ist der erste Benchmark, der entwickelt wurde, um das vietnamesische Sprachverständnis großer Sprachmodelle zu bewerten. Der Benchmark umfasst vier Datensätze mit 17.000 Fragen zur Bewertung von Fähigkeiten in den Bereichen Allgemeinwissen, Leseverständnis, logisches Denken und Dialogfähigkeit.

Laut Zalo-Ingenieuren sind die meisten aktuellen Benchmarks für Englisch konzipiert, welches den syntaktischen, semantischen und kulturellen Kontext des Vietnamesischen nicht vollständig widerspiegelt. Die direkte Übersetzung englischer Fragensätze ins Vietnamesische führt häufig zu Ungenauigkeiten oder dem Verlust semantischer Nuancen.

Um das LLM-Bewertungsmodell einfach zu erklären, stellen Sie sich KI als Student vor, der eine Prüfung ablegen muss, um seine Fähigkeiten zu testen. Aktuell sind die meisten Prüfungen auf Englisch, aber das Zalo-KI-Team wollte eine Prüfung auf Vietnamesisch erstellen, um zu testen, ob die KI Vietnamesisch wirklich versteht und gut anwendet.

Herr Nguyen Truong Son, Wissenschaftlicher Direktor bei Zalo AI, bestätigte: „Das VMLU-Evaluierungssystem bietet ein einheitliches Bewertungskriterium für umfangreiche vietnamesische Sprachmodelle. Nach seiner Veröffentlichung erhielten wir viel positives Feedback aus der KI-Forschungsgemeinschaft im In- und Ausland. Ich gehe davon aus, dass sich VMLU zukünftig zu einem weit verbreiteten und angewandten Evaluierungsstandard entwickeln wird, nicht nur in der akademischen Welt, sondern auch in Unternehmen, die KI-Produkte entwickeln.“

Anwendung von KI auf die Produkte von Zalo.

Über seinen akademischen Wert hinaus bietet VMLU viele potenzielle Anwendungsmöglichkeiten bei der Entwicklung von KI-Produkten bei Zalo.

Laut Cúc dient der Benchmark erstens der Bewertung der Genauigkeit und des Sprachverständnisses der im Produkt Kiki Info, einem digitalen Bürgerassistenten, verwendeten Modelle. Dies ermöglicht es dem Team, die Grenzen des Modells in Bezug auf bestimmte Fähigkeiten zu identifizieren.

Zweitens wird VMLU als Testwerkzeug eingesetzt, bevor neue KI-Funktionen wie Nachrichtenzusammenfassung, automatische Antwortvorschläge oder Kundendienstunterstützung implementiert werden.

Letztendlich hilft VMLU Zalo mit seinen Funktionen zur Konversationsbewertung dabei, Unternehmens-Chatbots mit natürlich klingender Kommunikation zu entwickeln, die der vietnamesischen Kommunikationskultur entspricht.

„Unser größtes Ziel ist es, KI-Modelle zu entwickeln, die Vietnamesisch auf natürliche und präzise Weise verstehen“, sagte Cúc.

Die junge Ingenieurin hofft, dass VMLU weiter expandieren wird.

Nach seiner Rückkehr aus Wien hofft der junge Ingenieur, dass die VMLU weiter expandieren und zu einer Plattform für viele inländische Forschungsgruppen werden wird, um Modelle einheitlich zu vergleichen und zu bewerten.

„Ich hoffe, dieser Datensatz wird der Ausgangspunkt für die vietnamesische KI-Community sein, um sich in den kommenden Jahren weiterzuentwickeln. Wir möchten einen kleinen Beitrag dazu leisten, Vietnamesisch zu einer Sprache zu machen, die globale KI-Modelle korrekt verstehen und effektiv verarbeiten können.“