GPT Pho sätter Vietnam på världskartan inom teknologi

[annons_1]

Pho GPT står för Pho - Generative Pre-trained Transformer, och är ett stort språkmodellprojekt dedikerat till vietnamesiska, implementerat av VinAI:s ingenjörsteam - en medlem av Vingroup Corporation.

"Håll dig ikapp" med världsteknologin

Pho GPT använder öppen källkod istället för proprietär programvara som ChatGPT eller OpenAI. Det betyder att källkoden för Pho GPT är offentlig och tillgänglig, och användare kan bidra till utvecklingen av Pho GPT genom anpassade applikationer.

Enligt VinAIs introduktion har Pho GPT 7,5 miljarder parametrar, byggda på Transformers avkodningsplattform. Denna modell tränas från grunden med hjälp av de mest avancerade teknikerna som finns tillgängliga, såsom Flash Attention-mekanismen och AliBi-kontextlängdsextrapolering.

Dessa tekniker hjälper inte bara Pho GPT att förstå sammanhanget djupare, utan ökar också applikationens förmåga att kommunicera och interagera naturligt under användning. Detta gör modellen till ett mångsidigt och multifunktionellt verktyg som kan möta användarnas olika språkbehov.

Bui Hai Hung, generaldirektör för VinAI.

Bui Hai Hung, generaldirektör för VinAI, berättade om betydelsen av Pho GPT:s födelse och sa att projektets mål är att utveckla modeller liknande ChatGPT för vietnamesiskt språk och vietnamesisk kultur. Pho GPT har förmågan att förstå och skriva vietnamesisk skrivstil på ett sätt som är överlägset tidigare generationers språkteknologier. Modellen tränas också från grunden med vietnamesiska dataset, utan att vara beroende av andra modeller i världen, vilket säkerställer behärskning av avancerad kärnteknik för Vietnam.

Det är värt att nämna att just när världen surrade om födelsen av Chat GPT, ett år senare, dök Pho GPT upp i Vietnam. Enligt Bui Hai Hung är VinAI pionjären i Sydostasien som lanserar en stor språkmodell med öppen källkod. Några veckor senare lanserades en liknande produkt i Singapore.

Lyfter vietnamesisk AI

Jämförelseresultaten av Pho GPT-7B5-Instruct-versionen med ChatGPT med sluten källkod (GPT-3.5-turbo) och andra modeller med öppen källkod visar att Pho GPT rankas tvåa, endast efter ChatGPT i de flesta utvärderingskategorier.

Pho GPT har många skillnader jämfört med andra språkmodeller, särskilt ChatGPT. Det är utformat för att förstå och skriva vietnamesisk skrivstil naturligt, vilket återspeglar kontexten, grammatiken, ordförrådet och uttrycken hos vietnameserna. Det kan interagera med användare om ämnen relaterade till vietnamesisk kultur, historia, geografi, samhälle, underhållning, sport etc.

Dessutom är Pho GPT öppen källkod och flexibel. Användare kan utveckla anpassade och unika applikationer, särskilt de som kräver hög säkerhet, utan att förlita sig på proprietära programvarukällor.

Samtidigt är prioriteten för Pho GPT hög prestanda och kostnadsbesparingar med utbildning med de senaste optimeringsteknikerna, vilket bidrar till att minska applikationens storlek och öka hastigheten. Pho GPT kan också köras på en mindre datorplattform, vilket bidrar till att minska kostnader och spara resurser.

Tränad med ett vietnamesiskt datalager på upp till 41 GB, varav 1 GB Wikipedia-text och en 40 GB variant som har tagit bort dubbletter från nyhetsdatauppsättningen, tränad att använda Mosaicml llm:s llm-foundry-bibliotek, kan Pho GPT generera textfragment enligt användarnas önskemål, såsom artiklar, dikter, sånger, essäer, tal, introduktioner... Pho GPT kan också skapa kreativt, humoristiskt innehåll, såsom noveller, kommentarer, ordspråk, meddelanden, tweets, memes... Samtidigt för den även dialog med användare om olika ämnen som aktuella händelser, utbildning, hälsa, resor, mat, sport, underhållning... Dessutom kan Pho GPT också svara på användarnas frågor, ge information, råd, stöd, besvara frågor...

Dessutom kan Pho GPT översätta texter eller texttyper av olika karaktär, såsom officiella, kommersiella, akademiska, litterära dokument ... från vietnamesiska till andra språk och vice versa.

En annan enastående funktion är att Pho GPT analyserar och bearbetar textstycken, såsom att sammanfatta, klassificera, märka, extrahera information, upptäcka känslor, upptäcka fel, förbättra skrivstil...

I framtiden sa Pho GPT-utvecklingsteamet att de kommer att fortsätta förbättra modellen och utöka projektet till andra språk, särskilt i Sydostasien.

”Födelsen av Pho GPT markerar första gången Vietnam har haft möjlighet att ”komma ikapp” världen inom detta avancerade teknikområde och äga en stor språkmodell med öppen källkod specifikt för vietnameser, optimerad för det vietnamesiska språket, oberoende av världen. Detta är Vin AI:s stolthet i synnerhet och vietnamesernas i allmänhet”, tillade VinAI-representanten.

Tran Duy Dong, biträdande minister för planering och investeringar, kommenterade potentialen och utvecklingsmöjligheterna för Pho GPT under den kommande tiden och betonade: ”AI kommer att vara ett av de områden där Vietnam har stor potential att utvecklas starkt och snart komma ikapp världsnivån. Ministeriet kommer alltid att stödja och följa AI-samhället i synnerhet, vetenskaps- och tekniksamhället i allmänhet, för att utveckla ett omfattande och dynamiskt innovationsekosystem som bidrar till landets övergripande utveckling.”

Kommentar (0)