A GPT Pho felteszi Vietnámot a világ technológiai térképére

A Pho GPT a Pho – Generative Pre-treated Transformer – rövidítése, és egy nagyszabású, vietnami nyelvre specializálódott nyelvi modellprojekt, amelyet a VinAI mérnöki csapata – a Vingroup Corporation tagja – valósított meg.

"Utolérni" a világ technológiáját

A Pho GPT nyílt forráskódú kódot használ a saját fejlesztésű szoftverek, például az OpenAI ChatGPT-je helyett. Ez azt jelenti, hogy a Pho GPT forráskódja nyilvános, elérhető, és a felhasználók egyéni alkalmazásokon keresztül hozzájárulhatnak a Pho GPT fejlesztéséhez.

A VinAI bevezetője szerint a Pho GPT 7,5 milliárd paraméterrel rendelkezik, és a Transformer dekódoló platformra épül. Ezt a modellt a nulláról tanítják be, a legfejlettebb elérhető technikákat alkalmazva, mint például a Flash Attention mechanizmus és az AliBi kontextushossz-extrapoláció.

Ezek a technikák nemcsak abban segítenek a Pho GPT-nek, hogy mélyebben megértse a kontextust, hanem növelik az alkalmazás azon képességét is, hogy természetes párbeszédet folytasson és interakcióba lépjen használat közben. Ezáltal a modell sokoldalú és többfeladatos eszközzé válik, amely képes kielégíteni a felhasználók változatos nyelvi igényeit.

Bui Hai Hung úr, a VinAI vezérigazgatója.

A Pho GPT születésének jelentőségéről beszélve Bui Hai Hung úr, a VinAI vezérigazgatója elmondta, hogy a projekt célja a ChatGPT-hez hasonló modellek fejlesztése a vietnami nyelv és kultúra számára. A Pho GPT képes megérteni és leírni a vietnami írásstílust olyan módon, amely felülmúlja az előző generációs nyelvi technológiákat. A modellt a nulláról, vietnami adatkészlettel képezik ki, nem függ a világ más modelljeitől, biztosítva a fejlett alapvető technológia elsajátítását Vietnam számára.

Érdemes megemlíteni, hogy éppen akkor, amikor a világ a Chat GPT születéséről áradozott, egy évvel később megjelent a Pho GPT Vietnámban. Bui Hai Hung úr szerint a VinAI úttörő volt Délkelet-Ázsiában, amely nyílt forráskódú, nagyméretű nyelvi modellt indított el. Néhány héttel később egy hasonló terméket dobtak piacra Szingapúrban.

A vietnami mesterséges intelligencia fejlesztése

A Pho GPT-7B5-Instruct verziójának a zárt forráskódú ChatGPT-vel (GPT-3.5-turbo) és más nyílt forráskódú modellekkel való összehasonlítása azt mutatja, hogy a Pho GPT a második helyen áll, csak a ChatGPT után a legtöbb értékelési kategóriában.

A Pho GPT számos különbséggel rendelkezik más nyelvi modellekhez képest, különösen a ChatGPT-hez képest. Úgy tervezték, hogy természetes módon megértse és leírja a vietnami írásstílust, tükrözve a vietnami emberek kontextusát, nyelvtanát, szókincsét és kifejezésmódjait. Interakcióba léphet a felhasználókkal a vietnami kultúrával, történelemmel, földrajzzal, társadalommal, szórakozással, sporttal stb. kapcsolatos témákban.

Továbbá a Pho GPT nyílt forráskódú és rugalmas. A felhasználók testreszabott és egyedi alkalmazásokat fejleszthetnek, különösen azokat, amelyek magas biztonságot igényelnek, anélkül, hogy saját szoftverforrásokra támaszkodnának.

Ugyanakkor a Pho GPT prioritása a nagy teljesítmény és a költségmegtakarítás is, a legújabb optimalizálási technikák alkalmazásával történő betanítással, ami segít csökkenteni az alkalmazás méretét és növelni a sebességét. A Pho GPT kisebb számítási platformon is futtatható, ami segít csökkenteni a költségeket és megtakarítani az erőforrásokat.

Egy akár 41 GB-os vietnami adattárházzal – amelyből 1 GB Wikipédia szöveg és egy 40 GB-os, a híradatkészletből eltávolított ismétlődéseket tartalmazó variáns –, valamint a Mosaicml llm llm-foundry könyvtárának használatára betanított Pho GPT képes szövegrészeket generálni a felhasználói kérések szerint, például cikkeket, verseket, dalokat, esszéket, beszédeket, bemutatkozásokat... A Pho GPT kreatív, humoros tartalmakat is képes létrehozni, például novellákat, kommenteket, közmondásokat, üzeneteket, tweeteket, mémeket... Ugyanakkor párbeszédet is folytat a felhasználókkal különböző témákban, például aktuális eseményekről, oktatásról, egészségügyről, utazásról, gasztronómiáról, sportról, szórakozásról... Emellett a Pho GPT válaszol a felhasználók kérdéseire, információkat, tanácsokat, támogatást nyújt, kérdésekre válaszol...

Ezenkívül a Pho GPT különféle jellegű szövegeket vagy szövegtípusokat, például hivatalos, kereskedelmi, tudományos, irodalmi dokumentumokat… vietnami nyelvről más nyelvre és fordítva is képes fordítani.

Egy másik kiemelkedő funkció, hogy a Pho GPT elemzi és feldolgozza a szöveges bekezdéseket, például összefoglalja, osztályozza, címkézi, kinyeri az információkat, érzelmeket és hibákat észlel, javítja az írásstílust...

A Pho GPT fejlesztőcsapata azt mondta, hogy a jövőben folytatni fogják a modell fejlesztését és kiterjesztik a projektet más nyelvekre, különösen a délkelet-ázsiai régióban.

„A Pho GPT megszületése az első alkalom, hogy Vietnamnak lehetősége nyílt „utolérni” a világot ezen a fejlett technológiai területen, és egy kifejezetten a vietnami emberek számára készült, nyílt forráskódú, a vietnami nyelvre optimalizált, a világtól független, nagyméretű nyelvi modellel rendelkezni. Ez különösen a Vin AI és általában a vietnami emberek büszkesége” – tette hozzá a VinAI képviselője.

A Pho GPT elkövetkező időszakbeli potenciáljáról és fejlődési lehetőségeiről szólva Tran Duy Dong úr, a tervezési és beruházási miniszterhelyettes hangsúlyozta: „A mesterséges intelligencia egyike azon területeknek, amelyeken Vietnámnak nagy potenciálja van az erőteljes fejlődésre és a világszintű felzárkózásra. A minisztérium mindig támogatni és kísérni fogja különösen a mesterséges intelligencia közösségét, a tudományos és technológiai közösséget általában véve, egy átfogó és dinamikus innovációs ökoszisztéma kialakítása érdekében, hozzájárulva az ország általános fejlődéséhez.”

Forrás: https://khoahocdoisong.vn/pho-gpt-ghi-ten-viet-nam-len-ban-do-cong-nghe-the-gioi-post229954.html