Pho GPT steht für Pho – Generative Pre-trained Transformer und ist ein großes Sprachmodellprojekt speziell für Vietnamesisch, das vom VinAI-Engineering-Team, einem Mitglied der Vingroup Corporation, implementiert wird.
„Aufholen“ mit der Welttechnologie
Pho GPT verwendet Open-Source-Code anstelle proprietärer Software wie ChatGPT von OpenAI. Das bedeutet, dass der Quellcode von Pho GPT öffentlich verfügbar ist und Benutzer durch benutzerdefinierte Anwendungen zur Entwicklung von Pho GPT beitragen können.
Laut VinAI verfügt Pho GPT über 7,5 Milliarden Parameter und basiert auf der Transformer-Dekodierungsplattform. Dieses Modell wird von Grund auf mit modernsten verfügbaren Techniken wie dem Flash-Attention-Mechanismus und der AliBi-Kontextlängenextrapolation trainiert.
Diese Techniken helfen Pho GPT nicht nur, den Kontext besser zu verstehen, sondern verbessern auch die Dialog- und Interaktionsfähigkeit der Anwendung während der Nutzung. Dies macht das Modell zu einem vielseitigen Multitasking-Tool, das den unterschiedlichen Sprachanforderungen der Nutzer gerecht wird.
 |
Herr Bui Hai Hung, Generaldirektor von VinAI. |
Herr Bui Hai Hung, Generaldirektor von VinAI, erläuterte die Bedeutung der Entstehung von Pho GPT und erklärte, das Ziel des Projekts sei die Entwicklung von ChatGPT-ähnlichen Modellen für die vietnamesische Sprache und Kultur. Pho GPT versteht und schreibt vietnamesischen Schreibstil besser als Sprachtechnologien früherer Generationen. Das Modell wird von Grund auf mit vietnamesischen Datensätzen trainiert und ist unabhängig von anderen Modellen weltweit. Dies gewährleistet die Beherrschung fortschrittlicher Kerntechnologie für Vietnam.
Es ist erwähnenswert, dass Pho GPT ein Jahr später, als die Welt über die Geburt von Chat GPT sprach, in Vietnam erschien. Laut Bui Hai Hung ist VinAI der Pionier in Südostasien, der ein großes Sprachmodell mit Open-Source-Code auf den Markt bringt. Wenige Wochen später wurde ein ähnliches Produkt in Singapur eingeführt.
Verbesserung der vietnamesischen KI
Die Vergleichsergebnisse der Pho GPT-7B5-Instruct-Version mit dem Closed-Source-Modell ChatGPT (GPT-3.5-Turbo) und anderen Open-Source-Modellen zeigen, dass Pho GPT in den meisten Bewertungskategorien an zweiter Stelle steht, gleich nach ChatGPT.
Pho GPT unterscheidet sich in vielerlei Hinsicht von anderen Sprachmodellen, insbesondere von ChatGPT. Es ist darauf ausgelegt, den vietnamesischen Schreibstil natürlich zu verstehen und zu schreiben und spiegelt Kontext, Grammatik, Wortschatz und Ausdrucksformen der Vietnamesen wider. Es ermöglicht die Interaktion mit Nutzern zu Themen der vietnamesischen Kultur, Geschichte, Geographie, Gesellschaft, Unterhaltung, Sport usw.
Darüber hinaus ist Pho GPT Open Source und flexibel. Benutzer können maßgeschneiderte und einzigartige Anwendungen entwickeln, insbesondere Anwendungen mit hohen Sicherheitsanforderungen, ohne auf Quellen proprietärer Software angewiesen zu sein.
Gleichzeitig liegt der Schwerpunkt von Pho GPT auf hoher Leistung und Kosteneinsparungen durch Training mit neuesten Optimierungstechniken, um die Größe der Anwendung zu reduzieren und ihre Geschwindigkeit zu erhöhen. Pho GPT kann zudem auf einer kleineren Computerplattform ausgeführt werden, was Kosten senkt und Ressourcen spart.
Pho GPT wurde mit einem vietnamesischen Data Warehouse von bis zu 41 GB trainiert, darunter 1 GB Wikipedia-Text und eine 40 GB große Variante, die Duplikate aus dem Nachrichtendatensatz entfernt hat, und wurde mit der llm-foundry-Bibliothek von Mosaicml llm trainiert. Pho GPT kann Textfragmente gemäß Benutzeranforderungen generieren, beispielsweise Artikel, Gedichte, Lieder, Essays, Reden, Einleitungen usw. Pho GPT kann auch kreative, humorvolle Inhalte erstellen, beispielsweise Kurzgeschichten, Kommentare, Sprichwörter, Nachrichten, Tweets, Memes usw. Gleichzeitig führt es auch Dialoge mit Benutzern zu verschiedenen Themen wie aktuellen Ereignissen, Bildung, Gesundheit, Reisen, Küche, Sport, Unterhaltung usw. Darüber hinaus kann Pho GPT auch Benutzerfragen beantworten, Informationen, Ratschläge und Unterstützung bereitstellen und Fragen beantworten usw.
Darüber hinaus kann Pho GPT Texte oder Textarten unterschiedlicher Art wie offizielle, kommerzielle, akademische, literarische Dokumente usw. vom Vietnamesischen in andere Sprachen und umgekehrt übersetzen.
Ein weiteres herausragendes Merkmal ist, dass Pho GPT Textpassagen analysiert und verarbeitet, z. B. zusammenfasst, klassifiziert, beschriftet, Informationen extrahiert, Emotionen erkennt, Fehler erkennt, den Schreibstil verbessert usw.
Das Pho GPT-Entwicklungsteam erklärte, dass es das Modell in Zukunft weiter verbessern und das Projekt auf andere Sprachen ausweiten werde, insbesondere in der Region Südostasien.
„Mit der Einführung von Pho GPT hat Vietnam erstmals die Möglichkeit, in diesem Bereich der Spitzentechnologie mit der Welt gleichzuziehen und ein umfassendes Sprachmodell mit Open-Source-Code speziell für Vietnamesen zu entwickeln, das für die vietnamesische Sprache optimiert und weltweit unabhängig ist. Darauf sind Vin AI und die Vietnamesen im Allgemeinen stolz“, fügte ein Vertreter von VinAI hinzu.
Tran Duy Dong, stellvertretender Minister für Planung und Investitionen, kommentierte das Potenzial und die Entwicklungsmöglichkeiten von Pho GPT in der kommenden Zeit wie folgt: „KI wird einer der Bereiche sein, in denen Vietnam großes Potenzial hat, sich stark zu entwickeln und bald zum Weltniveau aufzuschließen. Das Ministerium wird die KI-Community im Besonderen und die Wissenschafts- und Technologiegemeinschaft im Allgemeinen stets unterstützen und begleiten, um ein umfassendes und dynamisches Innovationsökosystem aufzubauen, das zur Gesamtentwicklung des Landes beiträgt.“
[Anzeige_2]
Quelle
Kommentar (0)