Zalo und die Reise der Überwindung von Hindernissen zur Verwirklichung häuslicher Ziele

Während die Welt die rasanten Fortschritte der Supermächte auf dem Gebiet der KI verfolgt, beginnt das Technologie-Ingenieurteam von Zalo eine ambitionierte Reise: Künstliche Intelligenz in Vietnamesisch zu meistern.

Die rasante Entwicklung der generativen künstlichen Intelligenz (Generative AI) hat die globale Technologielandschaft grundlegend verändert.

Seit OpenAI Ende 2022 ChatGPT auf den Markt brachte, sind kontinuierlich ähnliche LLM-Modelle erschienen, die in vielen Bereichen wie Gesundheitswesen, Bildung , Finanzen, Recht usw. Anwendung finden. Der Wettlauf ist hart geworden, nicht nur auf Unternehmensebene, sondern auch auf nationaler Ebene in Bezug auf Trainingskapazität, Recheninfrastruktur und Daten.

Große Unternehmen wie OpenAI, Google, Meta oder Microsoft, die über ausreichend finanzielle Mittel und günstige Rahmenbedingungen verfügen, haben allesamt innerhalb kürzester Zeit Milliarden von Dollar investiert, um Tausende von High-End-GPUs wie die Nvidia H100 zu erwerben – die zentrale Komponente für das Training von LLM-Modellen. Der Aktienkurs von Nvidia schoss in diesem Zeitraum in die Höhe und spiegelte den weltweiten Bedarf an Infrastruktur wider.

Technologieunternehmen in Entwicklungsländern sehen sich neben Kostenfragen auch mit Beschränkungen beim Import und Export von KI-Chip-Ausrüstung aus den USA konfrontiert. Dies führt zu einem Mangel an Trainingsausrüstung und einer geringeren Entwicklungsgeschwindigkeit im Vergleich zu den großen Technologiekonzernen. Auch Zalo, das auf den heimischen Markt abzielt, bildet hier keine Ausnahme.

Bisherige Probleme des maschinellen Lernens erforderten große Mengen an Trainingsdaten, doch für große Sprachmodelle ist dies eine enorme Datenmenge. Um ein ausreichend gutes Modell zu erhalten, benötigt das Sprachlernsystem Dutzende oder sogar Hunderte von Milliarden von Eingabetext-Tokens. Gleichzeitig ist Vietnamesisch hinsichtlich der Verbreitung nicht so verbreitet wie Englisch und Chinesisch. Dies hat die Herausforderung für die Entwickler vietnamesischer Sprachlernsysteme noch vervielfacht.

Im Jahr 2023 haben große Sprachmodelle (LLM) wie GPT-3.5 und GPT-4 die Technologiewelt im Sturm erobert, und viele vietnamesische Unternehmen haben sich auch für im Ausland hergestellte, feinabgestimmte Modelle entschieden, um eine Abkürzung zu nehmen und im LLM-Trainingsprozess die Nase vorn zu haben.

Zalo wählte einen anderen Weg – einen anspruchsvolleren, aber autonomeren: das Selbsttraining des Modells von Grund auf (From-Scratch-Modell). Dieser Weg erfordert, dass alles von Grund auf neu entwickelt wird – von den Daten über die Modellarchitektur bis hin zum gesamten Trainingsprozess. Diese Entscheidung erfolgte nicht, um mit den Branchenriesen zu konkurrieren, sondern um den Wunsch der Vietnamesen zu erfüllen: das LLM-Modell in ihrer Muttersprache zu beherrschen.

„Wir haben die Schwierigkeiten vorhergesehen und uns trotzdem entschieden, frühzeitig einzusteigen. Wir sind nicht direkt mit den Branchenriesen konkurriert, sondern haben uns für eine Nische entschieden, in der wir bessere Ergebnisse erzielen konnten. Unser Ziel ist es, ein Modell zu entwickeln, das vollständig von den Vietnamesen kontrolliert wird – von den Daten bis zu den Algorithmen“, erklärte Dr. Nguyen Truong Son, Wissenschaftlicher Direktor bei Zalo AI.

Trotz zahlreicher Hindernisse in den Bereichen Infrastruktur, Daten und Ausbildungsstand haben vietnamesische Ingenieure proaktiv Lösungen gefunden, um die Schwierigkeiten zu überwinden. Dies beweist den Kampfgeist und die Entschlossenheit des vietnamesischen Volkes in schwierigen Situationen, insbesondere bei der Bewältigung der Herausforderungen im Rahmen der Entwicklung des LLM-Programms für Vietnamesen.

Für die Ausbildung von LLM-Ingenieuren benötigten diese die passende Infrastruktur. Doch damals waren GPUs wie die Nvidia H100 weltweit nahezu unerschwinglich. Große Unternehmen hatten sie bereits ein Jahr im Voraus bestellt und Millionen von Dollar dafür bezahlt. Auch Zalo in Vietnam versuchte, acht DGX H100-Server zu erwerben, was sich jedoch als schwierig erwies, da man auf jede einzelne Lieferung des Herstellers warten musste.

Da keine Nvidia-GPUs zur Verfügung standen, mussten vietnamesische Ingenieure flexibel auf handelsübliche GPUs zurückgreifen, um jede Codezeile zu testen und jedes kleine Modell auszuführen. Anstatt abzuwarten, bereiteten sie sich proaktiv vor, sodass alles bereit wäre, sobald moderne Ausrüstung verfügbar wäre.

Was die Daten betrifft, so investierte Zalo, anstatt auf verfügbare Ressourcen zurückzugreifen, in den Aufbau eines hochwertigen Data Warehouse speziell für Vietnamesisch, um den gravierenden Mangel im Vergleich zu Englisch und Chinesisch auszugleichen.

Dank seiner flexiblen Entwicklungsstrategie konnte Zalo die Entwicklungszeit seines großen Sprachmodells von den erwarteten 18 Monaten auf 6 Monate verkürzen. Ende 2023 wurde Zalos vietnamesisches Sprachmodell offiziell auf dem Zalo AI Summit vorgestellt, einer Veranstaltung, die die führende Technologie- und KI-Community Vietnams zusammenbrachte. Dort feierte das Modell sein Debüt in der Kahoot-Challenge von Tinhte.vn und übertraf überraschenderweise GPT-3.5. Es lag damit nur hinter GPT-4, dem damals als weltweit stärkstem Sprachmodell geltenden Modell.

Basierend auf der Evaluierungsplattform VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models) ist Zalos Modell 1,5-mal leistungsfähiger als OpenAIs GPT-3.5. Bis Ende 2024 wird dieses Modell Größen wie GPT-4 (OpenAI), Gemma-2-9B (Google) oder Phi-3-small (Microsoft) übertreffen und in Bezug auf die Verarbeitungsleistung für Vietnamesisch in den VMLU-Rankings nur hinter Metas LLaMA-3-70B liegen.

Zalo beschränkt sich nicht nur auf die Forschung, sondern erweckt die im Labor entwickelten Technologien schrittweise zum Leben, indem es Anwendungsprodukte aus dem LLM vermarktet und popularisiert.

Anfang 2025 konnte der allgemeine Frage-Antwort-Assistent Kiki Info – betrieben als offizieller Account auf der Zalo-Plattform – in weniger als zwei Monaten über eine Million Nutzer gewinnen. Auch die Anwendung Thiep AI erreichte in nur zwei Monaten eine beeindruckende Zahl von 15 Millionen erstellten und versendeten Karten.

Zalos Erfolgsgeschichte ist mehr als nur die eines Unternehmens, das Technologie entwickeln möchte. Sie ist Teil eines größeren Ganzen: Vietnam fördert Innovationen mit Nachdruck, unter anderem durch die Resolution 57-NQ/TW zur Wissenschafts- und Technologieentwicklung und zur nationalen digitalen Transformation. Ein besonderer Schwerpunkt liegt dabei auf dem Bereich der künstlichen Intelligenz.

Das Aufkommen und die rasante Entwicklung des vietnamesischen LLM-Programms von Zalo sind nicht nur ein technologischer Fortschritt für ein Unternehmen, sondern auch ein Beweis für die inhärente Leistungsfähigkeit und Beharrlichkeit des vietnamesischen Technologie-Teams.

Mit der „From-Scratch“-Methode – dem Training von Modellen von Grund auf – wählte Zalo zwar einen längeren Weg, trug aber maßgeblich dazu bei, dass Vietnam KI wirklich beherrschen konnte. Dies zeigte sich nicht nur in den Ergebnissen, sondern auch im gesamten Prozess, von der Modellarchitektur über Daten und Algorithmen bis hin zu Anwendungsprodukten. Zalos Erfolg verhalf Vietnam zudem zu einem der wenigen südostasiatischen Länder mit einem eigenen LLM-Modell – ein strategischer Meilenstein angesichts des zunehmend harten globalen Technologiewettbewerbs.

Auf dem langen Weg, der vor uns liegt, wird Zalo nicht bei einem einzelnen Modell oder wenigen Produkten stehen bleiben, sondern das Modell kontinuierlich perfektionieren, um sowohl den Nutzern zu dienen als auch eine wettbewerbsfähige vietnamesische KI-Plattform zu schaffen: „Zalos KI-Entwicklungsweg ist noch lang. Wir werden das Modell sowohl in der Breite als auch in der Tiefe optimieren und gleichzeitig die praktische Anwendung fördern. Das oberste Ziel ist es, qualitativ hochwertige KI-Produkte zu entwickeln, die den Vietnamesen einen echten Nutzen bringen“, fügte Herr Son hinzu.

Zalos erfolgreiche Entwicklung des vietnamesischen LLM ist nicht nur ein Durchbruch für das Unternehmen, sondern eröffnet auch vielversprechende Zukunftsperspektiven für die vietnamesische Künstliche Intelligenz. Der Durchhaltewille und der Ehrgeiz der Vietnamesen haben diesen bemerkenswerten Erfolg ermöglicht. Die Zukunft der vietnamesischen KI wird nicht nur ein „Zalo“ hervorbringen, sondern auch eine Generation mutiger Ingenieure, die das Erbe antreten, weiterführen und die Welt der Technologie erobern werden.

Quelle: https://znews.vn/zalo-va-hanh-trinh-lam-chu-llm-tieng-viet-post1561765.html