Zalo AI kondigt gratis Vietnamese taalvaardigheidsbeoordelingsnormen aan

VMLU (Vietnamese Multitask Language Understanding) is ontwikkeld door Zalo AI in samenwerking met het Japan Advanced Institute of Science and Technology (JAIST) om de AI-onderzoeks- en ontwikkelingsgemeenschap in Vietnam te helpen met meer hulpmiddelen om de uitvoerkwaliteit van Vietnamese generatieve AI-modellen te evalueren.

Dit is een reeks Vietnamese beoordelingsnormen die veelzijdig en gelaagd is en voldoet aan de meest uiteenlopende behoeften op de huidige markt, met 10.880 meerkeuzevragen over 58 verschillende onderwerpen.

zalo ai.jpg — De normen voor de beoordeling van Vietnamese taalvaardigheid zijn onderzocht en ontwikkeld door Zalo AI-ingenieurs in samenwerking met het JAIST-instituut. Het doel is om het vermogen te beoordelen om AI-modellen in de Vietnamese taal te begrijpen en toe te passen, met name generatieve AI.

Waarom heeft AI Vietnam een volledige set normen voor de beoordeling van de Vietnamese taalvaardigheid nodig?

De explosieve groei van ChatGPT heeft een nieuw ras gecreëerd: generatieve AI. Volgens statistieken zijn er sinds de introductie van ChatGPT wereldwijd ongeveer 16.000 modellen die vergelijkbaar zijn met ChatGPT.

Ook Vietnam is niet uit die trend verdwenen, want er zijn veel onderzoeksgroepen met verschillende schaalgroottes en mogelijkheden die willen experimenteren met generatieve AI in het Vietnamees. Dit heeft geleid tot de behoefte aan een Vietnamese taalvaardigheidstestset voor deze AI-modellen om het kennis- en denkniveau van het Vietnamees te meten.

In de huidige markt moeten de meeste LLM-onderzoeksgroepen in Vietnam hun eigen evaluatietoolkits bouwen met hun eigen standaarden voor hun modellen. Dit zijn interne evaluatietools die niet openbaar zijn gemaakt. De evaluatietoolkit van Zalo AI is gericht op algemene behoeften, kan een gemeenschappelijke standaard voor LLM-modellen worden en wordt ter beschikking gesteld aan de AI-gemeenschap. Dit helpt kleine onderzoeksgroepen toegang te krijgen tot uitgebreide evaluatiedatasets en stelt partijen in staat resultaten met elkaar te vergelijken. Dit stimuleert de motivatie om het model te verbeteren.

Vietnamese AI motiveren om zich aan te sluiten bij de wereldwijde generatieve AI-golf

In november 2023 kondigde Zalo AI officieel de VMLU-normen voor de beoordeling van Vietnamese taalvaardigheid aan. Deze normen zijn onderzocht en ontwikkeld door Zalo AI-ingenieurs in samenwerking met het JAIST Institute om het vermogen te evalueren om Vietnamese AI-modellen te begrijpen en toe te passen, met name generatieve AI.

De oprichting van VMLU heeft individuen, startups en kleine onderzoeksgroepen gemotiveerd om nieuwe Vietnamese AI-modellen te ontwikkelen. Dit schept voorwaarden voor nieuw onderzoek, legt de basis voor het meten van de nauwkeurigheid en het verbeteren van de resultaten van basismodellen, en draagt bij aan de voltooiing van het ontwikkelingsproces van Vietnamese AI-toepassingen, ontwikkeld door Vietnamezen ten behoeve van Vietnamezen.

Dit is ook een van de belangrijke factoren die ervoor zorgt dat de ontwikkeling van generatieve AI in Vietnam sneller gaat en gelijke tred houdt met de golf van AI-ontwikkeling in de wereld.

Wat zijn de normen voor het beoordelen van de Vietnamese taalvaardigheid?

Dit is een reeks normen voor de beoordeling van de Vietnamese taal die veelzijdig en gelaagd is en voldoet aan de meest uiteenlopende behoeften op de Vietnamese markt voor onderzoek en ontwikkeling van generatieve AI. De nadruk ligt op twee hoofdonderdelen: gegevens (testdataset) en een reeks beoordelingsnormen als basis voor het testen van AI-modellen met toepassing van de Vietnamese taal.

De dataset bevat 10.880 meerkeuzevragen over 58 verschillende onderwerpen. Elk onderwerp bevat ongeveer 200 vragen en is verdeeld over vier vakgebieden, waaronder STEM, sociale wetenschappen, geesteswetenschappen en een brede categorie "Uitgebreid". Met deze dataset hanteert VMLU een moeilijkheidsgraadstratificatie met vier niveaus: basisonderwijs, voortgezet onderwijs, voortgezet onderwijs en beroepsonderwijs - voor universiteit en postdoctoraal onderwijs. De toolkit helpt bij het effectief evalueren van de Vietnamese taalvaardigheid van AI-modellen, zowel op het gebied van elementaire kennis als bij het oplossen van complexe problemen.

Om onderzoeksgroepen te helpen de capaciteit van hun Vietnamese AI-modellen eenvoudig te evalueren, heeft het Zalo AI-engineeringteam bijbehorende instructies ontworpen, zodat groepen de modellen snel en eenvoudig kunnen gebruiken.

Draag bij aan de Vietnamese AI-gemeenschap

De VMLU-standaardset is ontstaan als een onderzoeksproduct met als doel om bij te dragen aan de ontwikkeling van de Vietnamese AI-onderzoeksgemeenschap in het bijzonder en de informatietechnologiegemeenschap in het algemeen, zonder dat er kosten aan verbonden zijn voor gebruikers, onderzoeksgroepen of bedrijven.

Zalo AI heeft eerder een reeks wedstrijden en programma's voor de Vietnamese AI-gemeenschap geïmplementeerd, ingezet en georganiseerd, zoals: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... Deze activiteiten creëren niet alleen een speeltuin voor de Vietnamese AI-gemeenschap, maar moedigen ook de toepassing van AI in het leven aan, lossen urgente maatschappelijke problemen op en voorzien in de behoeften van miljoenen Vietnamezen.

Dr. Chau Thanh Duc, hoofd van de afdeling Zalo AI-onderzoek en docent aan de Universiteit voor Natuurwetenschappen van de Nationale Universiteit van Ho Chi Minhstad, bevestigde: "Zalo AI streeft er altijd naar om bij te dragen aan de Vietnamese AI-gemeenschap en zo de Vietnamese AI-ontwikkeling te stimuleren. We verwachten dat er steeds meer AI-producten van Vietnamezen, voor Vietnamezen, zullen komen."

Bron