GPT Pho setter Vietnam på verdens teknologikart

[annonse_1]

Pho GPT står for Pho – Generative Pre-trained Transformer, og er et stort språkmodellprosjekt dedikert til vietnamesisk, implementert av VinAI-ingeniørteamet – et medlem av Vingroup Corporation.

"Følg med" på verdens teknologi

Pho GPT bruker åpen kildekode i stedet for proprietær programvare som ChatGPT eller OpenAI. Dette betyr at kildekoden til Pho GPT er offentlig og tilgjengelig, og brukere kan bidra til utviklingen av Pho GPT gjennom tilpassede applikasjoner.

I følge VinAIs introduksjon har Pho GPT 7,5 milliarder parametere, bygget på Transformer-dekodingsplattformen. Denne modellen er trent fra bunnen av, ved hjelp av de mest avanserte teknikkene som er tilgjengelige, som Flash Attention-mekanismen og AliBi-kontekstlengdeekstrapolering.

Disse teknikkene hjelper ikke bare Pho GPT med å forstå konteksten dypere, men øker også applikasjonens evne til å kommunisere og samhandle naturlig under bruk. Dette gjør modellen til et allsidig og fleroppgavekjørende verktøy, som er i stand til å møte brukernes ulike språkbehov.

Mr. Bui Hai Hung, generaldirektør for VinAI.

Bui Hai Hung, administrerende direktør i VinAI, fortalte om betydningen av Pho GPTs fødsel og sa at målet med prosjektet er å utvikle modeller som ligner på ChatGPT for vietnamesisk språk og kultur. Pho GPT har evnen til å forstå og skrive vietnamesisk skrivestil på en måte som er bedre enn tidligere generasjoners språkteknologier. Modellen er også trent fra bunnen av med vietnamesiske datasett, uten å være avhengig av andre modeller i verden, noe som sikrer mestring av avansert kjerneteknologi for Vietnam.

Det er verdt å nevne at akkurat da verden summet av fødselen til Chat GPT, et år senere, dukket Pho GPT opp i Vietnam. Ifølge Mr. Bui Hai Hung er VinAI pioneren i Sørøst-Asia når det gjelder å lansere en stor språkmodell med åpen kildekode. Noen uker senere ble et lignende produkt lansert i Singapore.

Løfter vietnamesisk kunstig intelligens

Sammenligningsresultatene av Pho GPT-7B5-Instruct-versjonen med lukket kildekode ChatGPT (GPT-3.5-turbo) og andre åpen kildekode-modeller viser at Pho GPT er på andreplass, kun etter ChatGPT i de fleste evalueringskategorier.

Pho GPT har mange forskjeller sammenlignet med andre språkmodeller, spesielt ChatGPT. Den er designet for å forstå og skrive vietnamesisk skrivestil naturlig, og gjenspeiler konteksten, grammatikken, ordforrådet og uttrykkene til vietnamesere. Den kan samhandle med brukere om emner relatert til vietnamesisk kultur, historie, geografi, samfunn, underholdning, sport osv.

Videre er Pho GPT åpen kildekode og fleksibel. Brukere kan utvikle tilpassede og unike applikasjoner, spesielt de som krever høy sikkerhet, uten å være avhengige av proprietære programvarekilder.

Samtidig er prioriteten til Pho GPT også høy ytelse og kostnadsbesparelser med opplæring ved hjelp av de nyeste optimaliseringsteknikkene, noe som bidrar til å redusere størrelsen og øke hastigheten på applikasjonen. Pho GPT kan også kjøres på en mindre databehandlingsplattform, noe som bidrar til å redusere kostnader og spare ressurser.

Pho GPT er trent med et vietnamesisk datalager på opptil 41 GB, hvorav 1 GB Wikipedia-tekst og en 40 GB-variant som har fjernet duplikater fra nyhetsdatasettet, trent til å bruke Mosaicml llm sitt llm-foundry-bibliotek, og kan generere tekstfragmenter i henhold til brukerforespørsler, for eksempel artikler, dikt, sanger, essays, taler, introduksjoner... Pho GPT kan også lage kreativt, humoristisk innhold, for eksempel noveller, kommentarer, ordtak, meldinger, tweets, memer... Samtidig dialogerer den også med brukere om forskjellige emner som aktuelle hendelser, utdanning, helse, reiser, mat, sport, underholdning... Dessuten kan Pho GPT også svare på brukernes spørsmål, gi informasjon, råd, støtte, svare på spørsmål...

I tillegg kan Pho GPT oversette tekster eller teksttyper av ulik art, som offisielle, kommersielle, akademiske, litterære dokumenter ... fra vietnamesisk til andre språk og omvendt.

En annen fremragende funksjon er at Pho GPT analyserer og behandler tekstavsnitt, for eksempel oppsummering, klassifisering, merking, uttrekking av informasjon, oppdagelse av følelser, feil, forbedring av skrivestil ...

I fremtiden sa Pho GPT-utviklingsteamet at de vil fortsette å forbedre modellen og utvide prosjektet til andre språk, spesielt i Sørøst-Asia-regionen.

«Fødselen av Pho GPT markerer første gang Vietnam har hatt muligheten til å «ta igjen» verden innen dette avanserte teknologifeltet og eie en stor språkmodell med åpen kildekode spesielt for vietnamesere, optimalisert for vietnamesisk språk, uavhengig av verden. Dette er Vin AIs stolthet spesielt og vietnamesernes generelt», la VinAI-representanten til.

I en kommentar om potensialet og utviklingsmulighetene til Pho GPT i den kommende tiden, understreket Tran Duy Dong, viseminister for planlegging og investering: «KI vil være et av feltene der Vietnam har stort potensial til å utvikle seg sterkt og snart ta igjen verdensnivået. Departementet vil alltid støtte og følge KI-samfunnet spesielt, og vitenskaps- og teknologisamfunnet generelt, for å utvikle et omfattende og dynamisk innovasjonsøkosystem som bidrar til landets generelle utvikling.»

[annonse_2]
Kilde