GPT Pho bringt Vietnam auf die Welttechnologiekarte

Pho GPT steht für Pho - Generative Pre-trained Transformer und ist ein großes Sprachmodellprojekt für Vietnamesisch, das vom VinAI-Ingenieurteam – einem Mitglied der Vingroup Corporation – implementiert wurde.

„Mit der weltweiten Technologie Schritt halten“

Pho GPT verwendet Open-Source-Code anstelle proprietärer Software wie ChatGPT von OpenAI. Das bedeutet, dass der Quellcode von Pho GPT öffentlich zugänglich ist und Benutzer durch eigene Anwendungen zur Weiterentwicklung von Pho GPT beitragen können.

Laut VinAI verfügt Pho GPT über 7,5 Milliarden Parameter und basiert auf der Transformer-Dekodierungsplattform. Dieses Modell wurde von Grund auf mit modernsten Techniken wie dem Flash-Attention-Mechanismus und der AliBi-Kontextlängenextrapolation trainiert.

Diese Techniken helfen Pho GPT nicht nur, den Kontext besser zu verstehen, sondern verbessern auch die Fähigkeit der Anwendung, während der Nutzung natürlich zu kommunizieren und zu interagieren. Dadurch wird das Modell zu einem vielseitigen und multitaskingfähigen Werkzeug, das den unterschiedlichen sprachlichen Bedürfnissen der Nutzer gerecht wird.

Herr Bui Hai Hung, Generaldirektor von VinAI.

Herr Bui Hai Hung, Generaldirektor von VinAI, erläuterte die Bedeutung der Entwicklung von Pho GPT und erklärte, dass das Ziel des Projekts die Entwicklung von Modellen ähnlich ChatGPT für die vietnamesische Sprache und Kultur sei. Pho GPT besitze die Fähigkeit, den vietnamesischen Schriftstil besser zu verstehen und zu schreiben als Sprachtechnologien der vorherigen Generation. Das Modell wurde zudem von Grund auf mit vietnamesischen Datensätzen trainiert und ist somit unabhängig von anderen Modellen weltweit. Dadurch wird die Beherrschung fortschrittlicher Kerntechnologie für Vietnam sichergestellt.

Erwähnenswert ist, dass genau zu dem Zeitpunkt, als die Welt über die Einführung von Chat GPT sprach, ein Jahr später Pho GPT in Vietnam erschien. Laut Herrn Bui Hai Hung ist VinAI der erste Anbieter in Südostasien, der ein umfangreiches Sprachmodell mit Open-Source-Code auf den Markt gebracht hat. Wenige Wochen später wurde ein ähnliches Produkt in Singapur vorgestellt.

Verbesserung der vietnamesischen KI

Die Vergleichsergebnisse der Pho GPT-7B5-Instruct-Version mit dem proprietären ChatGPT (GPT-3.5-turbo) und anderen Open-Source-Modellen zeigen, dass Pho GPT in den meisten Bewertungskategorien den zweiten Platz belegt, direkt hinter ChatGPT.

Pho GPT unterscheidet sich in vielerlei Hinsicht von anderen Sprachmodellen, insbesondere von ChatGPT. Es wurde entwickelt, um den vietnamesischen Schreibstil natürlich zu verstehen und wiederzugeben und spiegelt dabei Kontext, Grammatik, Wortschatz und Ausdrucksweise der vietnamesischen Bevölkerung wider. Es ermöglicht die Interaktion mit Nutzern zu Themen wie vietnamesischer Kultur, Geschichte, Geografie, Gesellschaft, Unterhaltung, Sport usw.

Darüber hinaus ist Pho GPT Open Source und flexibel. Benutzer können individuelle und einzigartige Anwendungen entwickeln, insbesondere solche mit hohen Sicherheitsanforderungen, ohne auf proprietäre Softwarequellen angewiesen zu sein.

Gleichzeitig legt Pho GPT Wert auf hohe Leistung und Kosteneinsparungen durch das Training mit modernsten Optimierungstechniken, wodurch die Anwendungsgröße reduziert und die Geschwindigkeit erhöht wird. Pho GPT kann zudem auf kleineren Rechenplattformen ausgeführt werden, was Kosten senkt und Ressourcen schont.

Das mit einem vietnamesischen Data Warehouse von bis zu 41 GB trainierte Pho GPT, bestehend aus 1 GB Wikipedia-Text und einer 40 GB großen Variante ohne Duplikate im Nachrichtendatensatz, und der LLM-Foundry-Bibliothek von Mosaicml, kann Textfragmente wie Artikel, Gedichte, Lieder, Essays, Reden und Einleitungen gemäß den Nutzerwünschen generieren. Pho GPT kann auch kreative und humorvolle Inhalte wie Kurzgeschichten, Kommentare, Sprichwörter, Nachrichten, Tweets und Memes erstellen. Gleichzeitig führt es Dialoge mit Nutzern zu verschiedenen Themen wie aktuellen Ereignissen, Bildung, Gesundheit, Reisen, Kulinarik, Sport und Unterhaltung. Darüber hinaus kann Pho GPT Fragen beantworten, Informationen und Ratschläge geben sowie Unterstützung anbieten.

Darüber hinaus kann Pho GPT Texte oder Textarten unterschiedlicher Art, wie z. B. offizielle, kommerzielle, akademische und literarische Dokumente, aus dem Vietnamesischen in andere Sprachen und umgekehrt übersetzen.

Ein weiteres herausragendes Merkmal ist, dass Pho GPT Textabschnitte analysiert und verarbeitet, beispielsweise durch Zusammenfassen, Klassifizieren, Kennzeichnen, Extrahieren von Informationen, Erkennen von Emotionen und Fehlern sowie Verbessern des Schreibstils...

Das Pho GPT-Entwicklungsteam erklärte, dass es das Modell in Zukunft weiter verbessern und das Projekt auf andere Sprachen ausweiten werde, insbesondere in Südostasien.

„Die Entwicklung von Pho GPT markiert das erste Mal, dass Vietnam die Chance hat, in diesem fortschrittlichen Technologiebereich mit der Welt gleichzuziehen und ein umfangreiches Sprachmodell mit Open-Source-Code speziell für Vietnamesen zu besitzen, das für die vietnamesische Sprache optimiert und unabhängig von der Welt ist. Darauf sind Vin AI im Besonderen und die Vietnamesen im Allgemeinen besonders stolz“, fügte der VinAI-Vertreter hinzu.

Mit Blick auf das Potenzial und die Entwicklungsmöglichkeiten von Pho GPT in der kommenden Zeit betonte Herr Tran Duy Dong, stellvertretender Minister für Planung und Investitionen: „KI ist eines der Felder, in denen Vietnam großes Entwicklungspotenzial besitzt und bald zum internationalen Standard aufschließen kann. Das Ministerium wird die KI-Community im Besonderen und die Wissenschafts- und Technologiegemeinschaft im Allgemeinen stets unterstützen und begleiten, um ein umfassendes und dynamisches Innovationsökosystem zu entwickeln, das zur Gesamtentwicklung des Landes beiträgt.“

Kommentar (0)