Tijdens het evenement Artificial Intelligence Day 2023 met als thema "AI - de realiteit herontwerpen", dat op 5 en 6 december plaatsvond, kondigde VinAI Artificial Intelligence Research and Application Company ( Vingroup Corporation) een open source onderzoeksproject aan over een groot taalmodel voor het Vietnamees: PhoGPT.
PhoGPT is een open-sourceproject en geen propriëtaire software zoals ChatGPT van OpenAI. Omdat het open-source is, zijn er geen commerciële beperkingen. Iedereen kan PhoGPT gebruiken om zijn eigen applicaties te ontwikkelen, inclusief applicatie-units voor commerciële doeleinden. Dit betekent dat dit een platform is dat de community in het land voorziet van applicaties die verband houden met AI-technologie.
Volgens Dr. Bui Hai Hung, algemeen directeur van VinAI Artificial Intelligence Research and Application Company, hebben de beperkingen van Vietnamese modellen aangetoond dat deze modellen niet optimaal presteren en geen open source code hebben. Een van de urgente taken voor de AI-gemeenschap in het algemeen, en de Natural Language Processing (NLP)-gemeenschap in het bijzonder, is daarom het ontwikkelen van een nieuw, krachtiger model dat Vietnamese taal met hoge nauwkeurigheid en prestaties kan verwerken.
Volgens AI-experts wordt een big-datataalmodel met 7,5 miljard parameters, gebouwd op het Transformer-decoderingsplatform, vanaf nul getraind met behulp van de meest geavanceerde technieken die beschikbaar zijn, zoals het Flash Attention-mechanisme en AliBi-contextlengte-extrapolatie.
Deze technieken helpen het model niet alleen om de context beter te begrijpen, maar versterken ook de natuurlijke dialoog- en interactiemogelijkheden van PhoGPT. Dit maakt het model een veelzijdige en veelzijdige tool die aan de taalbehoeften van een breed scala aan gebruikers kan voldoen.
Dr. Bui Hai Hung voegde eraan toe dat PhoGPT vanaf het begin door het bedrijf is ontwikkeld, onafhankelijk van alle andere modellen ter wereld . Dankzij het open-sourcemodel kan de Vietnamese community het beter gebruiken en verbeteren. Door de broncode van PhoGPT openbaar te maken en beschikbaar te stellen aan gebruikers, ontstaat een omgeving waarin de gebruikersgemeenschap op maat gemaakte en unieke applicaties kan ontwikkelen.
Een van de doelen van open source is om een basis te leggen, zodat mensen geen tijd hoeven te besteden aan het opnieuw doen van modellen en eenheden meer grote taalmodellen zoals PhoGPT kunnen ontwikkelen. Dit zal de maatschappij helpen een hoogwaardige open source community te creëren voor grote Vietnamese taalmodellen, wat een positief effect zal hebben, zodat veel bedrijven kunnen deelnemen en deze modellen in een bepaald vakgebied kunnen toepassen. VinAI Artificial Intelligence Research and Application Company gaf aan dat het met PhoGPT een plan zal hebben om applicaties voor individuele gebruikers te onderzoeken en te ontwikkelen, evenals een pakket gespecialiseerde ondersteuningsoplossingen voor bedrijven in het Vietnamees, in sectoren zoals gezondheidszorg, onderwijs, enz.
PhoGPT heeft de eerste basis gelegd voor de ontwikkeling van hoogwaardige Vietnamese taalmodellen, als basis voor de ontwikkeling van praktische, effectieve toepassingen, in lijn met de AI-ontwikkelingsstrategie van de overheid tot 2030.
BA TAN
Bron
Reactie (0)