Zalo AI kunngjør gratis standarder for vietnamesisk ferdighetsvurdering

[annonse_1]

VMLU (Vietnamese Multitask Language Understanding) ble utviklet av Zalo AI i samarbeid med Japan Advanced Institute of Science and Technology (JAIST) for å hjelpe AI-forsknings- og utviklingsmiljøet i Vietnam med å ha flere verktøy for å evaluere utdatakvaliteten til vietnamesiske generative AI-modeller.

Følgelig er dette et sett med vietnamesiske vurderingsstandarder som er mangesidige, flernivåige og dekker de mest varierte behovene på markedet i dag, med 10 880 flervalgsspørsmål som dreier seg om 58 forskjellige emner.

zalo ai.jpg — Standardsettet for vietnamesisk ferdighetsvurdering ble undersøkt og utviklet av Zalos AI-ingeniører i samarbeid med JAIST Institute for å vurdere evnen til å forstå og anvende vietnamesisk språk i AI-modeller, spesielt generativ AI.

Hvorfor trenger AI Vietnam et komplett sett med vurderingsstandarder for vietnamesiske språkferdigheter?

Den eksplosive veksten av ChatGPT har skapt en ny rase: Generativ AI. Ifølge statistikk finnes det for tiden rundt 16 000 modeller som ligner på ChatGPT i verden siden introduksjonen av ChatGPT.

Vietnam er ikke utenom den trenden, selv om det finnes mange forskningsgrupper med ulik skala og potensial som ønsker å eksperimentere med generativ AI ved bruk av vietnamesisk. Dette har ført til behovet for et vietnamesisk ferdighetsvurderingssett for disse AI-modellene for å måle kunnskaps- og tenkningsnivået i vietnamesisk.

I dagens marked må de fleste LLM-forskningsgrupper i Vietnam bygge sine egne evalueringsverktøysett med egne standarder for modellene sine. Dette er interne evalueringsverktøy som ikke er offentliggjort. Zalo AIs evalueringsverktøysett er rettet mot generelle behov, kan være en felles standard for LLM-modeller og leveres til AI-fellesskapet. Dette hjelper små forskningsgrupper med å få tilgang til omfattende evalueringsdatasett og lar partene sammenligne resultater med hverandre. Derfra skapes motivasjon til å forbedre modellen.

Motiverer vietnamesisk AI til å bli med på verdens generative AI-bølge

I november 2023 annonserte Zalo AI offisielt VMLUs standarder for vurdering av vietnamesisk språkferdighet. Dette er et sett med standarder som er forsket på og utviklet av Zalo AI-ingeniører i samarbeid med JAIST Institute for å evaluere evnen til å forstå og anvende vietnamesisk språk i AI-modeller, spesielt generativ AI.

Fødselen til VMLU har motivert enkeltpersoner, oppstartsbedrifter eller små forskningsgrupper til å utvikle nye vietnamesiske AI-modeller. Dette skaper forutsetninger for ny forskning, legger grunnlaget for å måle nøyaktigheten og oppgradere resultatene av grunnleggende modeller, og bidrar til å fullføre utviklingsprosessen av vietnamesiske AI-applikasjoner, laget av vietnamesere for å tjene vietnamesere.

Dette er også en av de viktige faktorene som fremmer utviklingen av generativ AI i Vietnam, slik at den går raskere og tar igjen bølgen av AI-utvikling i verden.

Hva er standardene for vurdering av vietnamesiske språkferdigheter?

Følgelig er dette et sett med vurderingsstandarder for vietnamesiske språk som er mangesidig, flernivået og dekker de mest varierte behovene i det vietnamesiske markedet for forskning og utvikling innen generativ AI, med fokus på to hoveddeler: Data (testdatasett) og et sett med vurderingsstandarder, som grunnlag for testing av AI-modeller som anvender vietnamesisk språk.

Datasettet inneholder 10 880 flervalgsoppgaver som dreier seg om 58 forskjellige emner. Hvert emne har omtrent 200 spørsmål og er fordelt på fire felt, inkludert: STEM, samfunnsvitenskap, humaniora og en bred kategori «Utvidet». Med dette datasettet har VMLU en vanskelighetsstratifisering med fire nivåer: grunnskole, ungdomsskole, videregående skole og yrkesfaglig – for universitet og høyere utdanning. Derfra bidrar verktøysettet til å effektivt evaluere de vietnamesiske språkferdighetene til AI-modeller, både innen elementærkunnskap og løsning av komplekse problemer.

I tillegg, for å hjelpe forskningsgrupper med å enkelt evaluere kapasiteten til sine vietnamesiske AI-modeller, utformet Zalos AI-ingeniørteam tilhørende instruksjoner slik at gruppene kan bruke dem raskt og enkelt.

Bidra til det vietnamesiske AI-fellesskapet

VMLU-standardsettet ble født som et forsket produkt med mål om å bidra til og utvikle det vietnamesiske AI-forskningsmiljøet spesielt og informasjonsteknologimiljøet generelt, uten å belaste noen brukere, forskningsgrupper eller bedrifter.

Tidligere har Zalo AI implementert, utplassert og organisert en rekke konkurranser og programmer for det vietnamesiske AI-samfunnet, som for eksempel: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... Disse aktivitetene skaper ikke bare en lekeplass for det vietnamesiske AI-samfunnet, men oppmuntrer også til bruk av AI i livet, løser presserende sosiale problemer og betjener behovene til millioner av vietnamesere.

Dr. Chau Thanh Duc, leder for Zalo AI-forskningsavdeling – foreleser ved Universitetet for naturvitenskap, Ho Chi Minh City National University, bekreftet: «Zalo AI har alltid som mål å bidra til det vietnamesiske AI-samfunnet, og skape motivasjon for utvikling av vietnamesisk AI. Derfra forventer vi at det vil komme flere og flere AI-produkter fra vietnamesere, for vietnamesere.»

[annonse_2]
Kilde