Zalo utvikler AI-modell eid av vietnamesere

(Dan Tri) – Med en sterk orientering mot teknologiutvikling er Zalo et vietnamesisk foretak som har utviklet en innenlandsk AI-modell. Dermed er Vietnam et av få land i Sørøst-Asia som eier en AI-modell som er trent fra bunnen av.

Verdens interesse for AI vokser, med mesteparten av oppmerksomheten rettet mot land med mange av verdens ledende AI-modeller, som USA og Kina. Sørøst-Asia – en av verdens viktigste økonomiske regioner – er gradvis i ferd med å bli et nytt hotspot for AI, med store fremskritt som kan interessere globale beslutningstakere, investorer og teknologieksperter.

Vietnam har allerede en innenlandsk AI-modell, en av få AI-modeller som er utviklet fra bunnen av i Sørøst-Asia-regionen i dag (Foto: Zalo).

I Vietnam er partiet og regjeringen også fast bestemt på å forme og fremme en æra med teknologisk utvikling i landet, noe som ble demonstrert gjennom resolusjon 57-NQ/TW om gjennombrudd innen vitenskapelig og teknologisk utvikling, innovasjon og nasjonal digital transformasjon. Denne orienteringen har skapt en sterk drivkraft for innenlandske teknologibedrifter til å investere og utnytte potensialet i avansert global teknologi.

Vietnam er for tiden et av få land i Sørøst-Asia som har en nasjonal modell for store språk (LLM). Mer spesifikt har Zalo siden 2023 med suksess trent og lansert en LLM-modell med fokus på vietnamesisk, forsket og utviklet utelukkende av et team av vietnamesiske ingeniører.

Velg trening fra starten av og få uventede resultater

For øyeblikket har AI-modeller to treningsteknikker, inkludert: finjustert modellteknikk er metoden for å optimalisere tidligere trente LLM-er for å lage nye LLM-er for spesialiserte formål; fra-grunnen av modelltreningsteknikk er prosessen med å bygge en helt ny modell, fra parameterinitialisering, beslutning om modellarkitektur til treningsalgoritme på et bestemt datasett.

Blant disse velges finjusteringsteknikker av mange bedrifter på grunn av fordelene deres, som enkel implementering, ressursbesparelse og muligheten til å gi bedre effektivitet. Spesielt i Vietnam, hvor treningsutstyr og data er begrenset, er finjusteringsteknikker en overlegen løsning.

Zalo valgte imidlertid opplæringsteknikken fra starten av. Med denne metoden eies og kontrolleres hele opplæringsprosessen og modellen fullstendig av vietnameserne. Takket være dette har Vietnam blitt et av få land i Sørøst-Asia som eier en stor språkmodell (LLM) utviklet innenlands.

Ved lanseringen i 2023 oppnådde Zalos første storskala språkmodell med 7 milliarder parametere fokusert på vietnamesisk en ytelse på 150 % sammenlignet med OpenAIs GPT3.5 på VMLU Vietnamese LLM Competency Assessment Benchmark. Opplæringstiden tok bare 6 måneder, mye kortere enn den opprinnelige planen på 18 måneder. Denne raske opplæringsprosessen overrasket hele utviklingsteamet hos Zalo.

Zalos LLM-modell ble nummer 3 i Kahoot-utfordringen ved sin første lansering i 2023 (Foto: Zalo).

I 2024 vil Zalos modell med 13 milliarder parametere overgå verdens store navn og dermed befeste sin posisjon som de to beste vietnamesiske LLM-modellene som er trent fra bunnen av på VMLUs rangering av vietnamesiske LLM-kompetanser.

Resultatene viser at opplæringsnivået for store språkmodeller ikke er dårligere enn verdens nivå for å utvikle en AI-modell i Vietnam, spesielt i lys av de innledende utviklingsvanskene.

Vietnamesiske forsøk på å utvikle AI-modeller

Zalo-representanten sa at LLM-opplæring krever tre kjerneelementer: opplæringsutstyr, data og teknisk nivå. Tidligere var det fortsatt mange begrensninger i Vietnam på alle tre områder. Spesielt, mens store selskaper i verden har eid tusenvis av de nyeste høyytelses-GPU-ene fra Nvidia, er ingeniørene i Vietnam fortsatt ikke fullt utstyrt med den nødvendige serverinfrastrukturen. Samtidig er vietnamesere også rangert i gruppen med dårligere dataressurser enn engelskmenn eller kinesere. Vietnams menneskelige ressurser og LLM-opplæringserfaring er også begrenset sammenlignet med utviklede land.

Zalo-teamet måtte på den tiden forske på og eksperimentere med små sivile GPU-er for å utstyre seg med kunnskap og LLM-opplæringsmuligheter, klare så snart stor datainfrastruktur var tilgjengelig.

AI-treningsbrikker er mangelvare, så selv om Zalo har bestilt åtte Nvidia DGX H100-servere, kan de ikke eie alle enhetene samtidig og må vente på hvert parti med levering fra produsenten. Derfor er det også et problem som Zalo-teamet må løse å optimalisere den ufullstendige datainfrastrukturen for å spare treningstid.

Samtidig investeres det også i opplæringsdata av høy kvalitet for å kompensere for mangelen på vietnamesiske datakilder.

«Selv om utgangspunktet var vanskelig sammenlignet med store selskaper i verden, bestemte Zalo seg likevel for å bli med i kappløpet med mål om å lykkes med å utvikle Vietnams egen AI-modell. Vi konsulterte forskere og ingeniører ved mange ledende forskningsinstitutter i verden for å få en passende utviklingsstrategi.»

De nåværende suksessmilepælene er motivasjonen for Zalos ingeniører til å fortsette å optimalisere modellen for å bli større i kvantitet og bedre i kvalitet. Samtidig utnytte anvendeligheten til å lage mange AI-produkter i verdensklasse for vietnamesiske brukere, delte Dr. Nguyen Truong Son, vitenskapsdirektør ved Zalo AI.

DGX H100-serveren Zalo bestilt fra Nvidia (Foto: Zalo).

Takket være fleksibel tilpasning i de vanskelige tidlige stadiene av utviklingen, har Zalo gradvis oppnådd vellykkede milepæler, og beveget seg mot å mestre global AI-teknologi slik den er i dag.

For tiden er Zalos AI-modell ikke bare vellykket når det gjelder opplæringsforskning, men også anvendt, og fremmer tilgang til og utnyttelse av verdi fra avansert ny teknologi for vietnamesere.

Tidligere i år lanserte Zalo Kiki Info Q&A Assistant, som drives som en OA – Official Account – på Zalos meldingsplattform. Assistenten støtter spørsmål og svar om ulike temaer innen livet, innholdsproduksjon og underholdning. Ifølge Zalo-statistikk har Kiki Info-assistenten hatt opptil 1 million brukere som har tilgang til OA-kontoen på Zalo på under 2 måneder.

Zalos LLM-modell brukes til å utvikle Kiki Info Assistant (Foto: Zalo).

En annen anvendelse av Zalos LLM-modell er AI-kort, som også nådde milepælen på 15 millioner kort opprettet og sendt på bare 2 måneder. Dette er en applikasjon som mange Zalo-brukere er interessert i for å sende ønsker til slektninger og venner på viktige høytider.

For tiden fortsetter Zalo å utvide og utvikle applikasjoner fra store språkmodeller, og lover å bringe mange nyttige verdier til innenlandske brukere.

Kilde: https://dantri.com.vn/cong-nghe/zalo-phat-trien-mo-hinh-ai-do-nguoi-viet-lam-chu-20250616161352610.htm