Zalo AI tillkännager gratis vietnamesiska kunskapsbedömningsstandarder

[annons_1]

VMLU (Vietnamese Multitask Language Understanding) utvecklades av Zalo AI i samarbete med Japan Advanced Institute of Science and Technology (JAIST) för att hjälpa AI-forsknings- och utvecklingsgemenskapen i Vietnam att få fler verktyg för att utvärdera utdatakvaliteten hos vietnamesiska generativa AI-modeller.

Följaktligen är detta en uppsättning vietnamesiska bedömningsstandarder som är mångfacetterade, flernivåiga och uppfyller de mest skilda behoven på marknaden idag med 10 880 flervalsfrågor som kretsar kring 58 olika ämnen.

zalo ai.jpg — Standarduppsättningen för bedömning av vietnamesiska färdigheter har undersökts och utvecklats av Zalos AI-ingenjörer i samarbete med JAIST Institute för att bedöma förmågan att förstå och tillämpa det vietnamesiska språket i AI-modeller, särskilt generativ AI.

Varför behöver AI Vietnam en komplett uppsättning bedömningsstandarder för vietnamesiska språkkunskaper?

Den explosionsartade tillväxten av ChatGPT har skapat en ny ras: Generativ AI. Enligt statistik finns det för närvarande cirka 16 000 modeller som liknar ChatGPT i världen sedan introduktionen av ChatGPT.

Vietnam har inte lämnat den trenden, då det finns många forskargrupper med olika skalor och potentialer som vill experimentera med generativ AI med hjälp av vietnamesiska. Detta har lett till behovet av en vietnamesisk färdighetsbedömningsuppsättning för dessa AI-modeller för att mäta kunskapsnivån och tänkandet i vietnamesiska.

På den rådande marknaden måste de flesta LLM-forskargrupper i Vietnam bygga sina egna utvärderingsverktyg med egna standarder för sina modeller. Dessa är interna utvärderingsverktyg som inte har offentliggjorts. Zalo AI:s utvärderingsverktyg riktar sig till allmänna behov, kan vara en gemensam standard för LLM-modeller och tillhandahålls AI-communityn. Detta hjälper små forskargrupper att få tillgång till omfattande utvärderingsdata och gör det möjligt för parterna att jämföra resultat med varandra. Därifrån skapas motivation att förbättra modellen.

Motiverar vietnamesisk AI att ansluta sig till världens generativa AI-våg

I november 2023 tillkännagav Zalo AI officiellt VMLU:s standarder för bedömning av vietnamesiska språkkunskaper. Detta är en uppsättning standarder som har forskats fram och utvecklats av Zalo AI-ingenjörer i samarbete med JAIST Institute för att utvärdera förmågan att förstå och tillämpa vietnamesiska språk i AI-modeller, särskilt generativ AI.

VMLU:s födelse har motiverat individer, startups eller små forskargrupper att utveckla nya vietnamesiska AI-modeller. Detta skapar förutsättningar för ny forskning, lägger grunden för att mäta noggrannheten och uppgradera resultaten av grundläggande modeller, vilket bidrar till att slutföra utvecklingsprocessen för vietnamesiska AI-applikationer, skapade av vietnameser för att betjäna dem.

Detta är också en av de viktiga faktorerna som främjar utvecklingen av generativ AI i Vietnam för att den ska gå snabbare och komma ikapp den globala AI-utvecklingen.

Vilka är standarderna för bedömning av vietnamesiska språkkunskaper?

Följaktligen är detta en uppsättning bedömningsstandarder för vietnamesiska språk som är mångfacetterad, flernivåig och möter de mest skilda behoven på den vietnamesiska marknaden för forsknings- och utveckling av generativ AI, med fokus på två huvuddelar: data (testdataset) och en uppsättning bedömningsstandarder, som grund för att testa AI-modeller som tillämpar vietnamesiska språket.

Mer specifikt innehåller datamängden 10 880 flervalsfrågor som kretsar kring 58 olika ämnen. Varje ämne har cirka 200 frågor och är fördelat över fyra områden, inklusive: STEM, samhällsvetenskap, humaniora och en bred kategori "Utökad". Med denna datamängd har VMLU en svårighetsgradiering med fyra nivåer: grundskola, gymnasium, gymnasium och yrkesutbildning - för universitet och forskarutbildning. Därifrån hjälper verktygslådan till att effektivt utvärdera AI-modellers vietnamesiska språkkunskaper inom både grundläggande kunskaper och lösning av komplexa problem.

För att hjälpa forskargrupper att enkelt utvärdera kapaciteten hos sina vietnamesiska AI-modeller, utformade dessutom Zalos AI-ingenjörsteam medföljande instruktioner så att grupperna snabbt och enkelt kan använda dem.

Bidra till den vietnamesiska AI-gemenskapen

VMLU-standarduppsättningen föddes som en forskningsbaserad produkt med syftet att bidra till och utveckla den vietnamesiska AI-forskningsgemenskapen i synnerhet och informationsteknologigemenskapen i allmänhet, utan att debitera några användare, forskargrupper eller företag.

Tidigare har Zalo AI implementerat, driftsatt och organiserat en serie tävlingar och program för den vietnamesiska AI-gemenskapen, såsom: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... Dessa aktiviteter skapar inte bara en lekplats för den vietnamesiska AI-gemenskapen utan uppmuntrar också tillämpningen av AI i livet, löser akuta sociala problem och tillgodoser behoven hos miljontals vietnameser.

Dr. Chau Thanh Duc, chef för Zalo AI-forskningsavdelningen och föreläsare vid University of Natural Sciences, Ho Chi Minh City National University, bekräftade: ”Zalo AI strävar alltid efter att bidra till den vietnamesiska AI-gemenskapen och skapa motivation för vietnamesisk AI att utvecklas. Därifrån förväntar vi oss att det kommer att finnas fler och fler AI-produkter av vietnameser, för vietnameser.”

[annons_2]
Källa