Zalo entwickelt KI-Modell im Besitz von Vietnamesen

Das weltweite Interesse an KI wächst, wobei der Fokus vor allem auf Ländern mit vielen der weltweit führenden KI-Modelle liegt, wie den USA und China. Südostasien – eine der wichtigsten Wirtschaftsregionen der Welt – entwickelt sich zunehmend zu einem neuen Zentrum für KI mit bedeutenden Fortschritten, die für globale Entscheidungsträger, Investoren und Technologieexperten von Interesse sein könnten.

Zalo phát triển mô hình AI do người Việt làm chủ - 1 — Vietnam verfügt bereits über ein eigenes KI-Modell, eines der wenigen KI-Modelle, die heute in Südostasien von Grund auf entwickelt wurden (Foto: Zalo).

In Vietnam sind Partei und Regierung entschlossen, das Zeitalter der technologischen Entwicklung des Landes zu gestalten und voranzutreiben. Dies zeigt sich in der Resolution 57-NQ/TW zu Durchbrüchen in Wissenschaft und Technologie, Innovation und nationaler digitaler Transformation. Diese Ausrichtung hat einen starken Anreiz für inländische Technologieunternehmen geschaffen, in fortschrittliche globale Technologien zu investieren und deren Potenzial zu nutzen.

Vietnam gehört aktuell zu den wenigen Ländern Südostasiens, die über ein eigenes, umfassendes Sprachmodell (LLM) verfügen. Seit 2023 hat Zalo erfolgreich ein LLM-Modell für Vietnamesisch entwickelt und eingeführt, das vollständig von einem Team vietnamesischer Ingenieure erforscht und entwickelt wurde.

Setzen Sie von Anfang an auf Training und erzielen Sie unerwartete Ergebnisse.

Aktuell gibt es für KI-Modelle zwei Trainingstechniken: Die Feinabstimmungstechnik ist die Methode, zuvor trainierte LLMs zu optimieren, um neue LLMs für spezielle Zwecke zu erstellen; die Modelltrainingstechnik von Grund auf ist der Prozess des Aufbaus eines völlig neuen Modells, von der Parameterinitialisierung über die Festlegung der Modellarchitektur bis hin zum Trainingsalgorithmus auf einem bestimmten Datensatz.

Feinabstimmungstechniken werden von vielen Unternehmen aufgrund ihrer Vorteile wie einfacher Implementierung, Ressourcenschonung und höherer Effizienz bevorzugt. Insbesondere in Vietnam, wo Schulungsausrüstung und Daten begrenzt sind, stellen Feinabstimmungstechniken eine überlegene Lösung dar.

Zalo entschied sich jedoch von Anfang an für diese Trainingsmethode. Dadurch befinden sich der gesamte Trainingsprozess und das Modell vollständig in vietnamesischer Hand und werden von Vietnamesen kontrolliert. Dank dieser Methode gehört Vietnam zu den wenigen Ländern in Südostasien, die über ein umfangreiches, im Inland entwickeltes Sprachmodell verfügen.

Zum Zeitpunkt der Markteinführung im Jahr 2023 erzielte Zalos erstes groß angelegtes Sprachmodell mit 7 Milliarden Parametern für Vietnamesisch eine um 150 % höhere Leistung als OpenAIs GPT-3.5 im VMLU Vietnamese LLM Competency Assessment Benchmark. Die Trainingszeit betrug lediglich 6 Monate und war damit deutlich kürzer als die ursprünglich geplanten 18 Monate. Dieser rasante Trainingsfortschritt überraschte das gesamte Entwicklungsteam von Zalo.

Zalo phát triển mô hình AI do người Việt làm chủ - 2 — Das LLM-Modell von Zalo belegte bei seiner Markteinführung im Jahr 2023 den 3. Platz im Kahoot-Wettbewerb (Foto: Zalo).

Im Jahr 2024 wird Zalos Modell mit 13 Milliarden Parametern die großen Namen der Welt übertreffen und seine Position als eines der beiden besten vietnamesischen LLM-Modelle festigen, die von Grund auf auf Basis des vietnamesischen LLM-Kompetenzrankings der VMLU entwickelt wurden.

Die Ergebnisse zeigen, dass das Niveau des Trainings großer Sprachmodelle dem weltweiten Niveau bei der Entwicklung eines eigenen KI-Modells für Vietnam nicht unterlegen ist, insbesondere im Hinblick auf die anfänglichen Entwicklungsschwierigkeiten.

Vietnamesische Bemühungen zur Entwicklung von KI-Modellen

Ein Vertreter von Zalo erklärte, dass eine LLM-Ausbildung drei Kernelemente erfordert: Schulungsausrüstung, Daten und technisches Niveau. In Vietnam bestanden bisher in allen drei Bereichen erhebliche Defizite. Während große Unternehmen weltweit Tausende der neuesten Hochleistungs-GPUs von Nvidia einsetzen, verfügen vietnamesische Ingenieure noch immer nicht über die notwendige Serverinfrastruktur. Gleichzeitig zählt Vietnam im Vergleich zu englischen oder chinesischen Ländern zu den Ländern mit geringeren Datenressourcen. Auch die Humanressourcen und die Erfahrung in der LLM-Ausbildung sind in Vietnam im Vergleich zu Industrieländern begrenzt.

Das Zalo-Team musste damals mit kleinen zivilen GPUs forschen und experimentieren, um sich das nötige Wissen und die LLM-Schulungskapazitäten anzueignen, damit es bereit war, sobald eine große Recheninfrastruktur zur Verfügung stand.

Da KI-Trainingschips knapp sind, kann Zalo trotz der Bestellung von acht Nvidia DGX H100-Servern nicht alle Geräte gleichzeitig nutzen und muss auf jede Lieferung des Herstellers warten. Daher ist die Optimierung der unvollständigen Recheninfrastruktur zur Verkürzung der Trainingszeit ebenfalls eine Herausforderung für das Zalo-Team.

Gleichzeitig wird auch in qualitativ hochwertige Trainingsdaten investiert, um den Mangel an vietnamesischen Datenquellen auszugleichen.

Zalo phát triển mô hình AI do người Việt làm chủ - 3

„Obwohl die Ausgangslage im Vergleich zu großen Unternehmen weltweit schwierig war, entschied sich Zalo dennoch, am Wettbewerb teilzunehmen, mit dem Ziel, ein eigenes KI-Modell für Vietnam erfolgreich zu entwickeln. Wir haben uns mit Forschern und Ingenieuren zahlreicher führender Forschungsinstitute weltweit beraten, um eine geeignete Entwicklungsstrategie zu erarbeiten.“

Die bisherigen Erfolge motivieren die Ingenieure von Zalo, das Modell kontinuierlich zu optimieren, um es in größerem Umfang und höherer Qualität bereitzustellen. Gleichzeitig wollen wir die Anwendbarkeit nutzen, um zahlreiche erstklassige KI-Produkte für vietnamesische Nutzer zu entwickeln“, so Dr. Nguyen Truong Son, Wissenschaftlicher Direktor bei Zalo AI.

Zalo phát triển mô hình AI do người Việt làm chủ - 4 — DGX H100 Server, bestellt von Zalo bei Nvidia (Foto: Zalo).

Dank flexibler Anpassungsfähigkeit in den schwierigen frühen Entwicklungsphasen hat Zalo schrittweise erfolgreiche Meilensteine erreicht und sich der Beherrschung der globalen KI-Technologie, wie sie heute üblich ist, angenähert.

Das KI-Modell von Zalo ist derzeit nicht nur im Hinblick auf die Trainingsforschung erfolgreich, sondern findet auch Anwendung und fördert den Zugang und die Nutzung des Nutzens fortschrittlicher neuer Technologien für die vietnamesische Bevölkerung.

Anfang des Jahres hat Zalo den Kiki Info Q&A-Assistenten eingeführt, der als offizieller Account (OA) auf der Zalo-Messaging-Plattform betrieben wird. Der Assistent unterstützt Fragen und Antworten zu verschiedenen Themen aus den Bereichen Leben, Content-Erstellung und Unterhaltung. Laut Zalo-Statistiken haben innerhalb von weniger als zwei Monaten bis zu eine Million Nutzer auf den offiziellen Account des Kiki Info-Assistenten auf Zalo zugegriffen.

Zalo phát triển mô hình AI do người Việt làm chủ - 5 — Das LLM-Modell von Zalo wird zur Entwicklung des Kiki Info Assistant verwendet (Foto: Zalo).

Eine weitere Anwendung des LLM-Modells von Zalo sind KI-Karten, die ebenfalls den Meilenstein von 15 Millionen erstellten und versendeten Karten in nur zwei Monaten erreichten. Viele Zalo-Nutzer interessieren sich für diese Anwendung, um Verwandten und Freunden zu wichtigen Feiertagen Wünsche zu übermitteln.

Aktuell werden die Anwendungen großer Sprachmodelle von Zalo kontinuierlich erweitert und weiterentwickelt, was den Nutzern im Inland viele nützliche Vorteile verspricht.

Kommentar (0)