GPT Pho pune Vietnamul pe harta tehnologiei mondiale

Pho GPT este prescurtarea de la Pho - Generative Pre-trained Transformer (Transformator Generativ Pre-antrenat) și este un proiect amplu de model lingvistic dedicat limbii vietnameze, implementat de echipa de inginerie VinAI - membră a Vingroup Corporation.

„Recuperează-ți decalajul” cu tehnologia mondială

Pho GPT folosește cod open-source în loc de software proprietar, cum ar fi ChatGPT de la OpenAI. Aceasta înseamnă că codul sursă al Pho GPT este public, disponibil, iar utilizatorii pot contribui la dezvoltarea Pho GPT prin intermediul aplicațiilor personalizate.

Conform introducerii VinAI, Pho GPT are 7,5 miliarde de parametri, construiți pe platforma de decodare Transformer. Acest model este antrenat de la zero, folosind cele mai avansate tehnici disponibile, cum ar fi mecanismul Flash Attention și extrapolarea lungimii contextului AliBi.

Aceste tehnici nu numai că ajută Pho GPT să înțeleagă contextul mai profund, dar sporesc și capacitatea aplicației de a dialoga și interacționa natural în timpul utilizării. Acest lucru face ca modelul să fie un instrument versatil și multitasking, capabil să satisfacă diversele nevoi lingvistice ale utilizatorilor.

Domnul Bui Hai Hung, Director General VinAI.

Vorbind despre semnificația nașterii Pho GPT, dl. Bui Hai Hung, director general al VinAI, a declarat că scopul proiectului este de a dezvolta modele similare cu ChatGPT pentru limba și cultura vietnameză. Pho GPT are capacitatea de a înțelege și scrie în stilul de scriere vietnamez într-un mod superior tehnologiilor lingvistice din generațiile anterioare. De asemenea, modelul este antrenat de la zero cu un set de date vietnameze, nedepinzând de alte modele din lume, asigurând stăpânirea tehnologiei de bază avansate pentru Vietnam.

Merită menționat faptul că, exact când lumea vuia de nașterea Chat GPT, un an mai târziu, Pho GPT a apărut în Vietnam. Potrivit domnului Bui Hai Hung, VinAI este pionierul din Asia de Sud-Est care a lansat un model lingvistic extins cu cod open source. Câteva săptămâni mai târziu, un produs similar a fost lansat în Singapore.

Creșterea performanței inteligenței artificiale vietnameze

Rezultatele comparației dintre versiunea Pho GPT-7B5-Instruct și cea cu sursă închisă ChatGPT (GPT-3.5-turbo) și alte modele open source arată că Pho GPT ocupă locul al doilea, doar după ChatGPT, în majoritatea categoriilor de evaluare.

Pho GPT are multe diferențe față de alte modele lingvistice, în special ChatGPT. Este conceput pentru a înțelege și a scrie în mod natural stilul de scriere vietnamez, reflectând contextul, gramatica, vocabularul și expresiile vietnamezilor. Poate interacționa cu utilizatorii pe teme legate de cultura, istoria, geografia, societatea, divertismentul, sportul etc. din Vietnam.

În plus, Pho GPT este open source și flexibil. Utilizatorii pot dezvolta aplicații personalizate și unice, în special cele care necesită securitate ridicată, fără a se baza pe surse software proprietare.

În același timp, prioritatea Pho GPT este reprezentată de performanța ridicată și economiile de costuri, prin antrenament utilizând cele mai noi tehnici de optimizare, contribuind la reducerea dimensiunii și creșterea vitezei aplicației. Pho GPT poate rula și pe o platformă de calcul mai mică, contribuind la reducerea costurilor și la economisirea resurselor.

Antrenat cu un depozit de date vietnamez de până la 41 GB, dintre care 1 GB text Wikipedia și o variantă de 40 GB care a eliminat duplicatele din setul de date de știri, antrenat să utilizeze biblioteca llm-foundry a Mosaicml llm, Pho GPT poate genera fragmente de text în funcție de solicitările utilizatorilor, cum ar fi articole, poezii, cântece, eseuri, discursuri, introduceri... Pho GPT poate crea, de asemenea, conținut creativ, umoristic, cum ar fi povestiri scurte, comentarii, proverbe, mesaje, tweet-uri, meme-uri... În același timp, dialoghează cu utilizatorii pe diferite teme, cum ar fi evenimente actuale, educație, sănătate, călătorii, gastronomie, sport, divertisment... În plus, Pho GPT poate răspunde și la întrebările utilizatorilor, poate oferi informații, sfaturi, asistență, poate răspunde la întrebări...

În plus, Pho GPT poate traduce texte sau tipuri de texte de natură diferită, cum ar fi documente oficiale, comerciale, academice, literare… din vietnameză în alte limbi și invers.

O altă caracteristică remarcabilă este faptul că Pho GPT analizează și procesează paragrafe de text, cum ar fi rezumarea, clasificarea, etichetarea, extragerea informațiilor, detectarea emoțiilor, detectarea erorilor, îmbunătățirea stilului de scriere...

În viitor, echipa de dezvoltare Pho GPT a declarat că va continua să îmbunătățească modelul și să extindă proiectul la alte limbi, în special în regiunea Asiei de Sud-Est.

„Nașterea Pho GPT marchează prima dată când Vietnamul a avut oportunitatea de a «recupera» terenul pierdut cu restul lumii în acest domeniu tehnologic avansat și de a deține un model lingvistic extins, cu cod open source special pentru vietnamezi, optimizat pentru limba vietnameză, independent de restul lumii. Aceasta este mândria Vin AI în special și a vietnamezilor în general”, a adăugat reprezentantul VinAI.

Comentând potențialul și oportunitățile de dezvoltare ale Pho GPT în perioada următoare, dl. Tran Duy Dong, ministru adjunct al Planificării și Investițiilor, a subliniat: „IA va fi unul dintre domeniile în care Vietnamul are un mare potențial de dezvoltare puternică și de a ajunge în curând la nivelul mondial. Ministerul va sprijini și va însoți întotdeauna comunitatea IA în special, comunitatea științifică și tehnologică în general, pentru a dezvolta un ecosistem de inovare cuprinzător și dinamic, contribuind la dezvoltarea generală a țării”.

Sursă