GPT Pho zařazuje Vietnam na mapu světa technologií

Pho GPT je zkratka pro Pho - Generative Pre-training Transformer, což je rozsáhlý projekt jazykového modelu věnovaný vietnamštině, který realizuje inženýrský tým VinAI - člen Vingroup Corporation.

„Dohnat“ světovou technologii

Pho GPT používá open source kód namísto proprietárního softwaru, jako je ChatGPT od OpenAI. To znamená, že zdrojový kód Pho GPT je veřejný, dostupný a uživatelé mohou přispívat k vývoji Pho GPT prostřednictvím vlastních aplikací.

Podle úvodu VinAI má Pho GPT 7,5 miliardy parametrů, postavených na dekódovací platformě Transformer. Tento model je trénován od nuly s využitím nejmodernějších dostupných technik, jako je mechanismus Flash Attention a extrapolace délky kontextu AliBi.

Tyto techniky nejen pomáhají Pho GPT hlouběji porozumět kontextu, ale také zvyšují schopnost aplikace vést dialog a přirozeně interagovat během používání. Díky tomu je model všestranným a multifunkčním nástrojem, schopným uspokojit rozmanité jazykové potřeby uživatelů.

Pan Bui Hai Hung, generální ředitel VinAI.

Pan Bui Hai Hung, generální ředitel VinAI, se podělil o význam zrození Pho GPT a uvedl, že cílem projektu je vyvinout modely podobné ChatGPT pro vietnamský jazyk a vietnamskou kulturu. Pho GPT dokáže rozumět a psát vietnamským stylem psaní způsobem, který je lepší než jazykové technologie předchozí generace. Model je také trénován od nuly s vietnamskými daty, nezávisle na jiných modelech na světě, což zajišťuje zvládnutí pokročilých základních technologií pro Vietnam.

Za zmínku stojí, že zrovna když se svět rozpovídal o zrodu Chat GPT, o rok později se Pho GPT objevil ve Vietnamu. Podle pana Bui Hai Hunga je VinAI průkopníkem v jihovýchodní Asii, který spustil rozsáhlý jazykový model s otevřeným zdrojovým kódem. O několik týdnů později byl podobný produkt uveden na trh v Singapuru.

Zvyšování vietnamské umělé inteligence

Výsledky porovnání verze Pho GPT-7B5-Instruct s uzavřeným zdrojovým kódem ChatGPT (GPT-3.5-turbo) a dalšími modely s otevřeným zdrojovým kódem ukazují, že Pho GPT se ve většině kategorií hodnocení umístil na druhém místě, hned za ChatGPT.

Pho GPT se v porovnání s jinými jazykovými modely, zejména ChatGPT, mnohokrát liší. Je navržen tak, aby přirozeně rozuměl a psal vietnamsky, a odrážel tak kontext, gramatiku, slovní zásobu a výrazy Vietnamců. Dokáže s uživateli komunikovat na témata týkající se vietnamské kultury, historie, geografie, společnosti, zábavy, sportu atd.

Pho GPT je navíc open source a flexibilní. Uživatelé si mohou vyvíjet přizpůsobené a jedinečné aplikace, zejména ty, které vyžadují vysokou bezpečnost, bez nutnosti spoléhat se na proprietární softwarové zdroje.

Zároveň je prioritou Pho GPT také vysoký výkon a úspora nákladů díky školení s využitím nejnovějších optimalizačních technik, což pomáhá zmenšit velikost a zvýšit rychlost aplikace. Pho GPT může také běžet na menší výpočetní platformě, což pomáhá snižovat náklady a šetřit zdroje.

Pho GPT, trénovaný s vietnamským datovým skladem o velikosti až 41 GB, z čehož 1 GB textu Wikipedie a 40GB variantou, která odstranila duplikáty ze sady dat zpráv, trénovaný pro používání knihovny llm-foundry od Mosaicml llm, dokáže generovat textové fragmenty podle požadavků uživatelů, jako jsou články, básně, písně, eseje, projevy, úvody... Pho GPT dokáže také vytvářet kreativní a humorný obsah, jako jsou povídky, komentáře, přísloví, zprávy, tweety, memy... Zároveň s uživateli vede dialog na různá témata, jako je aktuální dění, vzdělávání, zdraví, cestování, kuchyně, sport, zábava... Kromě toho dokáže Pho GPT také odpovídat na dotazy uživatelů, poskytovat informace, rady, podporu, odpovídat na otázky...

Kromě toho Pho GPT dokáže překládat texty nebo typy textů různého charakteru, jako jsou oficiální, obchodní, akademické, literární dokumenty… z vietnamštiny do jiných jazyků a naopak.

Další vynikající funkcí je, že Pho GPT analyzuje a zpracovává textové odstavce, jako je shrnutí, klasifikace, označování, extrakce informací, detekce emocí, detekce chyb, zlepšení stylu psaní...

Vývojový tým Pho GPT uvedl, že v budoucnu bude model i nadále vylepšovat a rozšiřovat projekt do dalších jazyků, zejména v regionu jihovýchodní Asie.

„Zrození Pho GPT je prvním případem, kdy měl Vietnam možnost „dohnat“ svět v této oblasti pokročilých technologií a vlastnit rozsáhlý jazykový model s otevřeným zdrojovým kódem speciálně pro Vietnamce, optimalizovaný pro vietnamský jazyk, nezávislý na světě. To je hrdost Vin AI zejména a Vietnamců obecně,“ dodal zástupce VinAI.

Náměstek ministra plánování a investic, pan Tran Duy Dong, se v komentáři k potenciálu a rozvojovým příležitostem Pho GPT v nadcházejícím období vyjádřil: „Umělá inteligence bude jednou z oblastí, ve kterých má Vietnam velký potenciál k silnému rozvoji a brzy dohoní světovou úroveň. Ministerstvo bude vždy podporovat a doprovázet zejména komunitu umělé inteligence, vědeckotechnickou komunitu obecně, s cílem rozvíjet komplexní a dynamický inovační ekosystém, který přispěje k celkovému rozvoji země.“

Zdroj