Zalo AI oznamuje bezplatné standardy hodnocení vietnamské znalosti

VMLU (Vietnamese Multitask Language Understanding) byl vyvinut společností Zalo AI ve spolupráci s Japonským pokročilým institutem pro vědu a technologii (JAIST), aby pomohl komunitě výzkumu a vývoje umělé inteligence ve Vietnamu získat více nástrojů pro hodnocení kvality výstupu vietnamských modelů generativní umělé inteligence.

Jedná se tedy o soubor vietnamských hodnotících standardů, který je mnohostranný, víceúrovňový a splňuje nejrozmanitější potřeby na dnešním trhu s 10 880 otázkami s výběrem odpovědí, které se týkají 58 různých témat.

zalo ai.jpg — Standardní soubor pro hodnocení znalostí vietnamštiny byl vyvinut inženýry umělé inteligence společnosti Zalo ve spolupráci s institutem JAIST s cílem posoudit schopnost porozumět a aplikovat vietnamský jazyk modelů umělé inteligence, zejména generativní umělé inteligence.

Proč AI Vietnam potřebuje kompletní sadu standardů pro hodnocení vietnamské jazykové znalosti?

Explozivní růst ChatGPT vytvořil novou rasu: generativní umělou inteligenci. Podle statistik existuje od zavedení ChatGPT na světě v současné době asi 16 000 modelů podobných ChatGPT.

Vietnam se tomuto trendu nevyhýbá, existuje mnoho výzkumných skupin s různým rozsahem a potenciálem, které chtějí experimentovat s generativní umělou inteligencí s využitím vietnamštiny. To vedlo k potřebě sady nástrojů pro hodnocení znalostí ve vietnamštině pro tyto modely umělé inteligence, které by měřily úroveň znalostí a myšlení ve vietnamštině.

Na současném trhu si většina výzkumných skupin LLM ve Vietnamu musí vytvořit vlastní sady hodnotících nástrojů s vlastními standardy pro své modely. Jedná se o interní hodnotící nástroje, které nebyly zveřejněny. Sada hodnotících nástrojů Zalo AI je zaměřena na obecné potřeby, může sloužit jako společný standard pro modely LLM a je poskytována komunitě AI. To pomáhá malým výzkumným skupinám přístup ke komplexním datovým sadám pro hodnocení a umožňuje stranám vzájemně porovnávat výsledky. To vytváří motivaci k vylepšení modelu.

Motivace vietnamské umělé inteligence k připojení se ke světové vlně generativní umělé inteligence

V listopadu 2023 společnost Zalo AI oficiálně oznámila standardy pro hodnocení znalostí vietnamštiny VMLU. Jedná se o soubor standardů, které inženýři společnosti Zalo AI ve spolupráci s institutem JAIST prozkoumali a vyvinuli za účelem hodnocení schopnosti porozumět a aplikovat modely umělé inteligence, zejména generativní umělé inteligence, ve vietnamštině.

Vznik VMLU motivoval jednotlivce, startupy nebo malé výzkumné skupiny k vývoji nových vietnamských modelů umělé inteligence. To vytváří podmínky pro nový výzkum, pokládá základy pro měření přesnosti a modernizaci výsledků základních modelů a pomáhá dokončit proces vývoje aplikací umělé inteligence ve vietnamštině, které Vietnamci vytvořili pro potřeby Vietnamců.

To je také jeden z důležitých faktorů podporujících rychlejší rozvoj generativní umělé inteligence ve Vietnamu a dohánějící vlnu rozvoje umělé inteligence ve světě.

Jaké jsou standardy hodnocení znalostí vietnamského jazyka?

Jedná se tedy o soubor standardů pro hodnocení vietnamského jazyka, který je mnohostranný, víceúrovňový a splňuje nejrozmanitější potřeby vietnamského trhu výzkumu a vývoje generativní umělé inteligence, přičemž se zaměřuje na dvě hlavní části: data (testovací datová sada) a soubor standardů pro hodnocení jako základ pro testování modelů umělé inteligence s využitím vietnamského jazyka.

Konkrétně datová sada obsahuje 10 880 otázek s výběrem odpovědí, které se týkají 58 různých témat. Každé téma má přibližně 200 otázek a je rozděleno do 4 oblastí, včetně: STEM, společenských věd, humanitních věd a široké kategorie „rozšířená“. S touto datovou sadou má VMLU stratifikaci obtížnosti se 4 úrovněmi: základní, střední, střední a odborné – pro univerzitu a postgraduální studium. Na základě toho sada nástrojů pomáhá efektivně vyhodnotit znalosti vietnamského jazyka v oblasti modelů umělé inteligence, a to jak v elementárních znalostech, tak v řešení složitých problémů.

Kromě toho, aby pomohl výzkumným skupinám snadno vyhodnotit kapacitu jejich vietnamských modelů umělé inteligence, navrhl tým inženýrů umělé inteligence Zalo doprovodné pokyny, aby je skupiny mohly používat rychle a jednoduše.

Přispějte do vietnamské komunity umělé inteligence

Standardní sada VMLU vznikla jako výzkumný produkt s cílem přispět k rozvoji vietnamské výzkumné komunity v oblasti umělé inteligence a komunity informačních technologií obecně, aniž by účtovala poplatky jakýmkoli uživatelům, výzkumným skupinám nebo firmám.

Společnost Zalo AI již dříve implementovala, nasadila a zorganizovala řadu soutěží a programů pro vietnamskou komunitu umělé inteligence, jako například: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... Tyto aktivity nejen vytvářejí hřiště pro vietnamskou komunitu umělé inteligence, ale také podporují uplatňování umělé inteligence v životě, řeší naléhavé sociální problémy a slouží potřebám milionů Vietnamců.

Dr. Chau Thanh Duc, vedoucí výzkumného oddělení Zalo AI – přednášející na Univerzitě přírodních věd Národní univerzity v Ho Či Minově městě, potvrdil: „Zalo AI se vždy snaží přispívat vietnamské komunitě AI a vytvářet motivaci pro její rozvoj. Očekáváme, že od té doby bude vietnamských lidí pro vietnamské lidi vytvářet stále více produktů AI.“

Zdroj