GPT Pho zet Vietnam op de wereldkaart voor technologie

Pho GPT staat voor Pho - Generative Pre-trained Transformer. Het is een groot taalmodelproject speciaal voor het Vietnamees, geïmplementeerd door het VinAI engineering team, een onderdeel van Vingroup Corporation.

Blijf op de hoogte van de wereldtechnologie

Pho GPT maakt gebruik van open-sourcecode in plaats van propriëtaire software zoals ChatGPT van OpenAI. Dit betekent dat de broncode van Pho GPT openbaar en beschikbaar is en dat gebruikers via maatwerkapplicaties kunnen bijdragen aan de ontwikkeling van Pho GPT.

Volgens VinAI's introductie heeft Pho GPT 7,5 miljard parameters, gebouwd op het Transformer-decoderingsplatform. Dit model is vanaf nul getraind met behulp van de meest geavanceerde technieken, zoals het Flash Attention-mechanisme en AliBi-contextlengte-extrapolatie.

Deze technieken helpen Pho GPT niet alleen om de context beter te begrijpen, maar vergroten ook het vermogen van de applicatie om tijdens het gebruik op een natuurlijke manier te communiceren en te interacteren. Dit maakt het model een veelzijdige en multifunctionele tool die tegemoetkomt aan de diverse taalbehoeften van gebruikers.

De heer Bui Hai Hung, algemeen directeur van VinAI.

De heer Bui Hai Hung, algemeen directeur van VinAI, vertelde over de betekenis van de geboorte van Pho GPT en zei dat het doel van het project is om modellen te ontwikkelen die vergelijkbaar zijn met ChatGPT voor de Vietnamese taal en cultuur. Pho GPT kan de Vietnamese schrijfstijl begrijpen en schrijven op een manier die superieur is aan eerdere taaltechnologieën. Het model is bovendien vanaf nul getraind met een Vietnamese dataset en is niet afhankelijk van andere modellen ter wereld, waardoor beheersing van geavanceerde kerntechnologie voor Vietnam gegarandeerd is.

Het is vermeldenswaard dat, net toen de wereld gonsde van de geboorte van Chat GPT, een jaar later Pho GPT in Vietnam verscheen. Volgens de heer Bui Hai Hung is VinAI de pionier in Zuidoost-Azië die een groot taalmodel met open source code lanceert. Een paar weken later werd een soortgelijk product gelanceerd in Singapore.

Vietnamese AI verheffen

Uit de vergelijkingsresultaten van de Pho GPT-7B5-Instruct-versie met de gesloten broncode ChatGPT (GPT-3.5-turbo) en andere open-sourcemodellen blijkt dat Pho GPT in de meeste evaluatiecategorieën op de tweede plaats staat, na ChatGPT.

Pho GPT verschilt aanzienlijk van andere taalmodellen, met name ChatGPT. Het is ontworpen om de Vietnamese schrijfstijl op natuurlijke wijze te begrijpen en te schrijven, waarbij de context, grammatica, woordenschat en uitdrukkingen van de Vietnamese bevolking worden weerspiegeld. Het kan met gebruikers communiceren over onderwerpen die verband houden met de Vietnamese cultuur, geschiedenis, geografie, maatschappij, entertainment, sport , enzovoort.

Bovendien is Pho GPT open source en flexibel. Gebruikers kunnen op maat gemaakte en unieke applicaties ontwikkelen, met name applicaties die een hoge mate van beveiliging vereisen, zonder afhankelijk te zijn van propriëtaire softwarebronnen.

Tegelijkertijd ligt de prioriteit van Pho GPT ook bij hoge prestaties en kostenbesparingen dankzij training met behulp van de nieuwste optimalisatietechnieken. Dit helpt de omvang van de applicatie te verkleinen en de snelheid ervan te verhogen. Pho GPT kan bovendien op een kleiner computerplatform draaien, wat helpt om kosten te verlagen en resources te besparen.

Pho GPT is getraind met een Vietnamees datawarehouse van maximaal 41 GB, waarvan 1 GB aan Wikipedia-tekst en een variant van 40 GB die duplicaten uit de nieuwsdataset heeft verwijderd. Pho GPT is getraind om de llm-foundry-bibliotheek van Mosaicml llm te gebruiken. Pho GPT kan tekstfragmenten genereren op basis van gebruikersverzoeken, zoals artikelen, gedichten, liedjes, essays, toespraken, inleidingen... Pho GPT kan ook creatieve, humoristische content creëren, zoals korte verhalen, commentaren, spreekwoorden, berichten, tweets, memes... Tegelijkertijd gaat het ook de dialoog aan met gebruikers over verschillende onderwerpen, zoals actualiteiten, onderwijs, gezondheid, reizen, culinair, sport, entertainment... Bovendien kan Pho GPT ook vragen van gebruikers beantwoorden, informatie, advies, ondersteuning bieden en vragen beantwoorden...

Bovendien kan Pho GPT teksten of teksttypen van uiteenlopende aard vertalen, zoals officiële, commerciële, academische, literaire documenten… uit het Vietnamees naar andere talen en vice versa.

Een andere opmerkelijke eigenschap is dat Pho GPT tekstparagrafen analyseert en verwerkt. De programma's kunnen bijvoorbeeld samenvatten, classificeren, labelen, informatie extraheren, emoties detecteren, fouten detecteren en de schrijfstijl verbeteren.

Het Pho GPT-ontwikkelingsteam gaf aan dat ze in de toekomst het model zullen blijven verbeteren en het project zullen uitbreiden naar andere talen, met name in de regio Zuidoost-Azië.

"De geboorte van Pho GPT markeert de eerste keer dat Vietnam de kans krijgt om de wereld in te halen op dit geavanceerde technologische gebied en een groot taalmodel te bezitten met open source code, specifiek voor Vietnamezen, geoptimaliseerd voor de Vietnamese taal, onafhankelijk van de wereld. Dit is de trots van Vin AI in het bijzonder en van Vietnamezen in het algemeen", voegde de VinAI-vertegenwoordiger eraan toe.

De heer Tran Duy Dong, viceminister van Planning en Investeringen, benadrukte het potentieel en de ontwikkelingsmogelijkheden van Pho GPT in de komende tijd: "AI zal een van de gebieden zijn waarin Vietnam veel potentieel heeft om zich sterk te ontwikkelen en snel de wereldtop te bereiken. Het ministerie zal de AI-gemeenschap in het bijzonder, en de wetenschappelijke en technologische gemeenschap in het algemeen, altijd ondersteunen en begeleiden om een alomvattend en dynamisch innovatie-ecosysteem te ontwikkelen dat bijdraagt aan de algehele ontwikkeling van het land."

Reactie (0)